flume 简介

最新推荐文章于 2019-04-25 10:10:26 发布

我爱奔跑的浮云

最新推荐文章于 2019-04-25 10:10:26 发布

阅读量529

点赞数

CC 4.0 BY-SA版权

分类专栏： java flume 大数据

本文链接：https://blog.csdn.net/qq_26790807/article/details/80469972

java 同时被 3 个专栏收录

10 篇文章

订阅专栏

大数据

5 篇文章

订阅专栏

flume

1 篇文章

订阅专栏

FlumeNG是由Cloudera提供的一款分布式日志收集系统，支持数据源的日志高效收集与聚合。FlumeNG的核心组件包括Source、Channel和Sink，它们共同确保了数据从源点到目的地的安全传输。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

介绍

Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。

数据流模型

Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

Flume 传输的数据的基本单位是 Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。Event 从 Source，流向 Channel，再到 Sink，本身为一个 byte 数组，并可携带 headers 信息。Event 代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。

Flume 运行的核心是 Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是 source、channel、sink。通过这些组件，Event 可以从一个地方流向另一个地方，如下图所示。
flume 架构

架构

Flume的架构主要有一下几个核心概念：

Event：一个数据单元，带有一个可选的消息头
Flow：Event从源点到达目的点的迁移的抽象
Client：操作位于源点处的Event，将其发送到Flume Agent
Agent：一个独立的Flume进程，包含组件Source、Channel、Sink
Source：用来消费传递到该组件的Event
Channel：中转Event的一个临时存储，保存有Source组件传递过来的Event
Sink：从Channel中读取并移除Event，将Event传递到Flow Pipeline中的下一个Agent（如果有的话）

Agent的三个组件

Agent包含三个组件：Source、Channel和Sink。

Source:是用来接收数据的活跃组件。Source可以监听一个或者多个网络端口，用来接收数据或者从本地文件系统读取数据。每个Source至少连接一个Channel，Source可以写入多个Channel,复制事件到所有或者某些Channel。
Channel:一般是被动组件，缓冲Agent已经接收的数据，它很像队列，Source把数据写入到Channel，由Sink从中读取。多个Source可以安全地写入到相同的Channel，并且多个Sink可以从相同的Channel进行读取。但是一个Sink只能从一个Channel读取。如果多个Sink从相同的Channel读取，它可以保证只有一个Sink将会从Channel读取和提交一个指定的事件。
Sink:Sink连续轮询各自的Channel来读取事件和删除事件。Sink将事件推送到一个Agent或者存储系统。如果数据到达目的地使安全的，那么Sink通过事务提交通知Channel，可以从Channel中删除这些事件。