Hive ORC + SNAPPY

最新推荐文章于 2024-03-06 18:59:24 发布

转载

最新推荐文章于 2024-03-06 18:59:24 发布 · 884 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/drjava/p/10458266.html

文章标签：

#大数据

本文介绍了Hive使用ORC格式结合SNAPPY压缩进行大数据存储的过程，包括Flume从Kafka消费数据实时写入HDFS的配置，避免小文件产生的策略，以及Hive建表时遇到的问题和解决方案。在HDFS中，通过调整Flume配置以确保每天数据写入同一目录，并防止文件以.tmp结尾。在Hive建表时，需注意文件是否已转换为ORC格式，否则可能导致数据格式错误。最后提供了正确的建表语句示例。

Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。

今天处理下面的场景时，解决了一些问题，记录下来：

flume消费kafka的数据实时写入hdfs，通过创建分区表，t + 1 时，需要看到昨天的数据：

　　 flume 通过snappy 将数据写入hdfs，可以通过在fliume.conf中配置以下

保证每天的数据写入同一个目录中：

agent.sinks.hdfs_sink.hdfs.path = /user/hive/warehouse/ods.db/kafka_2_hdfs_test/ods_sale_alter/dt=%Y-%m-%d

避免在hdfs写入过多的小文件：
```
tier1.sinks.hdfs_sink.hdfs.idleTimeout=0
```
这个参数是某个topic停止活动时间超过设置的值时，就把hdfs上文件结尾的.tmp去掉，并开始写入新文件。设置为0，表示忽略停止时间。
配置了2的参数后，会造成一个问题，当新的一天，数据开始写入hdfs上另一个目录后，
比如"dt=2019-03-02","dt=2019-03-01"文件夹下的最后一个文件，还是以.tmp结尾的，在hive建表后，数据格式错误会报错。
所以需要我们通过脚本，每天修复文件名称：
```
hadoop -mv abc.tmp abc
```
另外就是hive建表的问题：
当数据导入hdfs后，我们想针对flume倒