impala、hive之parquet表性能测试

最新推荐文章于 2022-08-27 17:13:05 发布

晴初1997

最新推荐文章于 2022-08-27 17:13:05 发布

阅读量434

点赞数

CC 4.0 BY-SA版权

文章标签： impala hive 大数据

本文链接：https://blog.csdn.net/qq_43151441/article/details/114310608

本文通过实际案例对比了Impala与Hive在建表及查询性能上的表现。使用相同的数据量进行测试，Impala在建表耗时上明显优于Hive；而在查询性能方面，虽然未给出具体数据，但可以推测Impala同样具有优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提条件说明：impala已打通hive元数据，测试表格式为parquet

建表性能测试

一、impala
建表SQL

create table temp.ad_impala stored as parquet as select ymd,username,udid,result,requesttime,positions,logid,productname,systemname from ods.bdl_bigdata_online_ad where ymd>=calc_date(4);

在这里插入图片描述

1亿多条数据，耗时28s

二、hive测试
建表SQL

create table temp.ad_hive stored as parquet as select ymd,username,udid,result,requesttime,positions,logid,productname,systemname from ods.bdl_bigdata_online_ad where ymd>=date_sub(current_date(),4);