Flume 1.6.0 性能测试分析-CSDN博客

本文详细介绍了在一个Intel i7-6700 8核CPU和16GB内存的环境下，使用Flume 1.6.0进行数据迁移的性能测试。测试内容包括写入文件、Kafka以及HDFS的性能，涉及Flume的Spooldir Source、MemoryChannel和FileChannel配置。测试文件大小为107M，包含490010条记录，使用的软件环境为Hadoop 2.6.0-cdh5.5.0、Kafka 2.11-0.9.0.1和JDK 1.8.0_91。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 测试环境

1.1 硬件

CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核）
内存：16G

1.2 软件

Flume：1.6.0
Hadoop：2.6.0-cdh5.5.0
Kfaka：2.11-0.9.0.1
JDK：1.8.0_91-b14 64位

1.3 测试文件

文件大小：107M ，共490010条记录

1.4 Flume配置

（1）Source配置
Flume Source采用spooldir的方式，直接读取预先准备好的测试文件。

agent.sources.source1.type = spooldir
agent.sources.source1.spoolDir=/data/flume/dir

（2）MemoryChannel配置

agent.channels.memoryChannel.capacity = 1000000
agent.channels.memoryChannel.transactionCapacity = 1000000
agent.channels.memoryChannel.type=memory

（3）FileChannel配置

agent.channels.fileChannel.type = file
agent.channels.fileChannel.checkpointDir = /data/flume/checkpoint
agent.channels.fileChannel.dataDirs = /data/flume/data

（4）JVM配置

JAVA_OPTS="-Xms256m -Xmx256m -Xss256k -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

2. 写入文件性能

Flume Config	Time（s）	Throughput（events/s）
MemoryChannel+FileSink	51	9608
FileChannel+FileSink	250	1960

3. 写入Kafka性能

Flume Config	Time（s）	Throughput（events/s）
KafkaSink+MemoryChannel	57	8597
KafkaChannel	50	9800
KafkaSink+FileChannel	830	590

4. 写入HDFS性能

Flume Config	Time（s）	Throughput（events/s）
FileChannel+HdfsSink	148	3311