weixin_42796403的博客

Presto使用注意事项 1. 字段名引用 避免和关键字冲突：MySQL对字段加反引号`、Presto对字段加双引号分割 当然，如果字段名称不是关键字，可以不加这个双引号。 2. 时间函数 对于Timestamp，需要进行比较的时候，需要添加Timestamp关键字，而MySQL中对Timestamp可以直接进行比较。 /*MySQL的写法*/ SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; /*Presto中的写法*/ SELECT

Presto优化之查询SQL 1. 只选择使用的字段 由于采用列式存储，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。 [GOOD]: SELECT time, user, host FROM tbl [BAD]: SELECT * FROM tbl 2. 过滤条件必须加上分区字段 对于有分区的表，where语句中优先使用分区字段进行过滤。acct_day是分区字段，visit_time是具体访问时间。 [GOOD]: SELECT time, user, host FR

Presto优化之数据存储 1. 合理设置分区 与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。 2. 使用列式存储 Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。 3. 使用压缩 数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。 ...

一、Presto概念 presto是一个开源的分布式sql查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询场景。 注意：虽然presto可以解析SQL，但他不是一个标准的数据库。不是mysql，oracle的替代品，也不能用来处理在线事务（OLTP），同时presto用的是一套自己的SQL语言，程序员的学习成本高，所以市场占有率并不高。 二、Presto架构 presto由一个coordinator和多个worker组成。 三、Presto优缺点 1）优点 （1）presto基于内存运算，减