【Flume学习指南】一.Flume快速入门

最新推荐文章于 2023-10-29 19:31:13 发布

朽木自雕z

最新推荐文章于 2023-10-29 19:31:13 发布

阅读量355

点赞数

CC 4.0 BY-SA版权

分类专栏： Flume 文章标签： flume

本文链接：https://blog.csdn.net/weixin_36964056/article/details/105617117

Flume是一款用于大规模日志收集、聚合和传输的工具，常用于从Web服务器收集日志并导入Hadoop HDFS。它由source、channel和sink组成，通过配置这些组件实现数据流。本文介绍了Flume的基本概念、安装步骤、官方案例解析，包括监控文件实时采集数据到控制台的配置，以及如何将A服务器日志传输到B服务器的案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

概念

Flume是向Hadoop批量导入基于事件的海量数据，例如利用Flume从一组Web服务器中搜集日志文件，然后把这些文件转移到一个新的HDFS汇总文件中以做进一步处理，其终点(或者sink)通常为HDFS。
Flume也支持导入其他系统比如HBase或Solr

运行流程

在这里插入图片描述

使用Flume需要运行Flume代理，Flume代理是由持续运行的source、sink以及channel(用于连接source和sink)构成的Java进程。
Flume的source产生事件，并将其传输给channel，channel存储这些事件直至转发给sink。
可以把source-channel-sink的组合视为基本的Flume构件。

Flume的构成

Flume由一组以分布式拓扑结构互相连接的代理构成，系统边缘的代理(如与WEB服务器共存于同一台机器上的代理)负责采集数据，并把数据转发给负责汇总的代理，然后再将这些数据存储到其最终目的地。
代理通过配置来运行一组特定的source和sink，使用Flume所要做的工作主要是通过配置使得各个组件融接到一起。

安装

http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

# 解压
tar -zxvf apache-flume-1.9.0-bin.tar.gz
# 配置环境变量
#Flume环境
export FLUME_HOME=/Users/babywang/Documen