Flume实际应用常见案例

最新推荐文章于 2024-04-27 08:30:00 发布

数据与算法架构提升之路

最新推荐文章于 2024-04-27 08:30:00 发布

阅读量750

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.csdn.net/lzhcoder/article/details/107414768

大数据专栏收录该内容

72 篇文章 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了四个Flume的实战案例，包括实时收集Nginx日志、Http访问日志、监控目录数据和多Agent链式结构，涵盖了Flume配置、启动流程及解决常见问题，展示了其在HDFS数据收集中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

案例一:实时收集访问Nginx产生的日志至HDFS

Nginx作为日志服务器，通过exec source监听nginx的日志文件，使用memory channel作为数据传输通道，使用hdfs sink将数据存储到hdfs上。

source: exec(tail -f)

channel:MemoryChannel

sink:HDFS

一.配置a1.conf

agent.sources = r1
agent.sinks = k1
agent.channels = c1


## common
agent.sources.r1.channels = c1
agent.sinks.k1.channel = c1


## sources config
agent.sources.r1.type = exec
agent.sources.r1.command = tail -F /home/hadoop/access.log


## channels config
agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000
agent.channels.c1.transactionCapacity = 1000
agent.channels.c1.byteCapacityBufferPercentage = 20
agent.channels.c1.byteCapacity = 1000000
agent.channels.c1.keep-alive = 60



#sinks config
agent.sinks.k1.type = hd

了解本专栏