数仓工具—Hive集成篇之Kafka(03)

Hive 整合Kafka

这个方案很多，随便举几个例子,但是在此之前建议你先阅读优化实战篇—UDAF批量调用外部请求(02) 在这篇文章中我们实现了在UDAF 中实现了多线程。

1. Spark/Flink 读Hive 数据写入kafka ，反之也行
2. Flume 同步kafka 数据到hive
3. 还有一些其他的工具 kafka-connect-hive,camus

基于kafka-connect平台实现的hive数据读取和写入插件，主要由source、sink两部分组成

source部分完成hive表数据的读取任务，kafka-connect将这些数据写入到其他数据存储层中，比如hive到ES数据的流入。

sink部分完成向hive表写数据的任务，kafka-connect将第三方数据源（如MySQL）里的数据读取并写入到hive表中

不过今天我们介绍两种我们我们不需要引入其他组件就可以搞定的方案

UDF 方案

下面是我们的代码，主要是UDAF 进行批量数据发送

package