IDEA2020修改flume源码并重新编译生成jar包

最新推荐文章于 2021-05-10 16:53:47 发布

原创

最新推荐文章于 2021-05-10 16:53:47 发布 · 1.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flume #hbase

本文详细介绍了如何在IDEA2020中修改Flume 1.7.0源码，以适应在大数据环境中配置HBase sink时的特定需求。通过下载源码、编译、导入IDEA、定位并修改所需类，以及使用Maven命令生成jar包，最后在源码目录的out文件夹中找到新jar包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在大数据实操中配置flume配置文件时，会遇到数据分发到hbase中，配置hbase sink的情况，在配置中会配置serializer 对应的类，这需要我们根据需求修改flume源码，重新编译生成jar包。以下是使用IDEA2020修改flume源码并重新编译生成jar包的方法。

下载Flume源码

在官网下载与安装配置的Flume版本相对应的源码。
官方网址https://downloads.apache.org/flume/
我使用的版本是1.7.0，源码对应的是src，应用对应的是bin。
官网下载源码

对源码进行编译

进入源码下载的目录
打开cmd切换目录

源码目录
执行maven编译命令

mvn clean compile

执行过程中报错，解决方法见https://blog.csdn.net/Defender_bakery/article/details/116599948

编译成功

标题将源码导入IDEA2020.1

建议将整个代码导入不然会报很多错
IDEA导入源码

找到需要修改的类的位置

首先我们要明确使用到的类是什么，然后去按照需求修改就行。
具体的相关信息可以在官网上看到，我使用的是hbase异步接收器，官网上写道需要配置指定的实现类AsyncHbaseEventSerializer将flume接收到的数存储到到HBase。

在具体配置中也有这个类的具体位置
需配置类的具体位置
IDEA上具体的位置在
idea打开需修改的类