1.配置采集文件 //使用flume核心 1)确认采集文件名：source组件-sink组件.conf 例：netcat-logger.conf 注：依据需求及配置文档，确认source组件、sink组件 2)添加采集内容： a.固定部分 --------------------------------------------- #定义三大组件的名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #连接各个组件 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 #定义source #定义sink #定义channel a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 100 --------------------------------------------- b.变化部分: 在配置文档中，找到source组件、sink组件样例，简单修改下就可使用 --------------------------------------------- #定义source a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 44444 #定义sink a1.sinks.k1.type = logger --------------------------------------------- 2.启动 cd /export/servers/flume-1.9.0 ./bin/flume-ng agent -n a1 -f conf/netcat-logger.conf -c conf/ -Dflume.root.logger=INFO,console --name | -n: flume中agent的名称，和采集文件中指定的agent名称要一致 --conf-file | -f：指定采集文件名 --conf | -c ：指定配置目录 -Dflume.root.logger=INFO,console：-D表示flume运行时的动态修改flume.root.logger的参数属性值，并将控制台日志打印级别设置为INFO级别。 注：jps -ml: 查看flume进程

### 配置 Flume Source 和 Sink 组件并启动 Agent 进行数据采集 Flume 是一个分布式、可靠且高可用的日志采集系统，能够从多个数据源收集、聚合和传输大量日志数据到数据存储中心。以下是一个典型的 Flume 配置示例，展示如何配置 `Netcat Source` 和 `HDFS Sink`，并启动 Flume Agent 进行数据采集。 --- ### 配置 Flume Source 和 Sink #### 1. 配置 Flume Agent 的 Source、Channel 和 Sink 创建一个名为 `netcat-hdfs-flume.conf` 的配置文件，并在其中定义 Flume Agent 的组件。以下是一个配置示例： ```properties # 定义 Agent 的名称 a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 # 配置 Source (Netcat) a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 44444 a1.sources.r1.channels = c1 # 配置 Channel (Memory Channel) a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 配置 Sink 1 (Logger Sink，用于调试) a1.sinks.k1.type = logger a1.sinks.k1.channel = c1 # 配置 Sink 2 (HDFS Sink) a1.sinks.k2.type = hdfs a1.sinks.k2.hdfs.path = hdfs://localhost:9000/user/flume/events/%Y-%m-%d a1.sinks.k2.hdfs.fileType = DataStream a1.sinks.k2.hdfs.writeFormat = Text a1.sinks.k2.channel = c1 ``` --- ### 启动 Flume Agent #### 2. 启动 Flume Agent 使用 `flume-ng` 命令启动 Flume Agent，并指定上述配置文件。以下是一个启动命令示例： ```bash flume-ng agent --conf /path/to/flume/conf --conf-file netcat-hdfs-flume.conf --name a1 -Dflume.root.logger=INFO,console ``` - `--conf`：指定 Flume 的配置目录。 - `--conf-file`：指定自定义的 Flume 配置文件。 - `--name`：指定 Flume Agent 的名称（与配置文件中定义的 Agent 名称一致）。 - `-Dflume.root.logger=INFO,console`：将日志输出到控制台，便于调试。 --- ### 数据采集验证 #### 3. 测试数据采集 使用 `Netcat` 向 Flume Agent 发送数据，并验证数据是否成功写入 HDFS 和日志文件中。 1. 在另一个终端窗口中使用 `Netcat` 发送数据： ```bash nc localhost 44444 ``` 2. 输入一些文本，例如： ``` Hello Flume! This is a test message. ``` 3. 查看 Flume 控制台输出，确认数据是否被 Logger Sink 捕获。 4. 检查 HDFS 文件系统，确认数据是否写入指定路径（例如 `hdfs://localhost:9000/user/flume/events/`）。 --- ### 自定义 Source 和 Sink 如果官方提供的 Source 或 Sink 无法满足需求，可以自定义组件。例如，可以使用 `Exec Source` 监控日志文件的变化，或者实现一个将数据写入 MySQL 的自定义 Sink。自定义组件需要继承 Flume 提供的基类，并实现相关接口。 --- ### 总结 通过上述步骤，可以完成 Flume 的基本配置，并启动 Flume Agent 进行数据采集。Flume 的灵活性使其能够适应多种数据源和目的地的需求，同时支持自定义扩展，以满足复杂的业务场景。 ---