Flume实时读取目录文件到HDFS案例

原创

于 2024-04-10 16:44:49 发布 · 834 阅读

6 ·

CC 4.0 BY-SA版权

希望对您有所帮助；知识共享，欢迎转载，转载时：请附上原文链接！

文章标签：

#大数据 #采集数据 #flume #hadoop #hdfs

本文详细介绍了ApacheFlume的大数据技术应用，包括监控端口数据的官方案例和实时读取目录文件并将数据传送到HDFS的实战配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【尚硅谷】大数据技术之Flume教程从入门到实战_哔哩哔哩_bilibili

flume简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

flume案例

1、监控端口数据官方案例

[atguigu@node001 flume-1.7.0]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

[atguigu@node001 ~]$ cd /opt/software/telnet
[atguigu@node001 telnet]$ ll
总用量 224
-rw-rw-r-- 1 atguigu atguigu  59332 4月  10 14:53 telnet-0.17-48.el6.x86_64.rpm
-rw-rw-r-- 1 atguigu atguigu  37912 4月  10 14:53 telnet-server-0.17-48.el6.x86_64.rpm
-rw-rw-r-- 1 atguigu atguigu 124812 4月  10 14:53