flume-ng命令

最新推荐文章于 2025-06-11 09:06:51 发布
最新推荐文章于 2025-06-11 09:06:51 发布
阅读量5.4k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据 hadoop 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jay7925417/article/details/80519952
本文详细介绍了Apache Flume的ng命令使用，包括不同类型的source（如netcat, avro, exec等）的配置与测试，以及sink（如logger, file_roll, Avro等）的测试。通过实例展示了Flume如何进行数据收集、处理和存储，如HTTP Source、Avro Sink的多级流动、扇出流、扇入流和HDFS存储等。" 105074251,7446096,JOISC 2020 Day2 - 遗迹问题解析,"['动态规划', '算法竞赛', '编程题解']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

flume-ng命令帮助：

[root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help

Usage: ./flume-ng <command> [options]...

commands:

  help                      display this help text
  agent                     run a Flume agent
  avro-client               run an avro Flume client

  version                   show Flume version info

global options:
  --conf,-c <conf>          use configs in <conf> directory
  --classpath,-C <cp>       append to the classpath
  --dryrun,-d               do not actually start Flume, just print the command
  --plugins-path <dirs>     colon-separated list of plugins.d directories. See the
                            plugins.d section in the user guide for more details.
                            Default: $FLUME_HOME/plugins.d
  -Dproperty=value          sets a Java system property value
  -Xproperty=value          sets a Java -X option

agent options:
  --name,-n <name>          the name of this agent (required)
  --conf-file,-f <file>     specify a config file (required if -z missing)
  --zkConnString,-z <str>   specify the ZooKeeper connection to use (required if -f missing)
  --zkBasePath,-p <path>    specify the base path in ZooKeeper for agent configs
  --no-reload-conf          do not reload config file if changed
  --help,-h                 display help text

avro-client options:
  --rpcProps,-P <file>   RPC client properties file with server connection params
  --host,-H <host>       hostname to which events will be sent
  --port,-p <port>       port of the avro source
  --dirname <dir>        directory to stream to avro source
  --filename,-F <file>   text file to stream to avro source (default: std input)
  --headerFile,-R <file> File containing event headers as key/value pairs on each new line
  --help,-h              display help text

  Either --rpcProps or both --host and --port must be specified.

Note that if <conf> directory is specified, then it is always included first

in the classpath.


测试flume操作

测试服务器

ip：192.168.226.151 主机名：hadoop01

ip：192.168.226.152 主机名：hadoop02

ip：192.168.226.153 主机名：hadoop03

source测试

1、netcat source

配置文件：example01.conf

#配置agent a1
a1.sources=r1
a1.channels=c1

a1.sinks=k1

#配置对应的source
a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0

a1.sources.r1.port=8888

#配置对应的sink

a1.sinks.k1.type=logger

#配置对应的channel

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000

a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动angent命令（hadoop01）


.......


从window，cmd命令操作客户端连接

telnet 192.168.226.151 8888


agent端（hadoop01）接收到内容


2、avro source

配置文件：example02.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动angent命令（hadoop01）

.......


启动avro客户端（hadoop01）


........


angent端接收到log1.txt文件内容


3、exec source

配置文件：example03.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=exec
a1.sources.r1.command=ls /usr/soft

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动angent命令（hadoop01），启动成功后，直接输出exec中执行的命令结果


........


4、Spooling Directory Source

配置文件：example04.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/soft/apache-flume-1.6.0-bin/mydata

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动angent命令（hadoop01）


......


通过另外的连接，在flume目录下的mydata目录，创建log2.txt文件（hadoop01）

angent监听进程自动扫描并处理文件

5、Sequence GeneratorSource

配置文件：example05.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=seq

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动angent命令（hadoop01），不断的+1输出

[root@hadoop01 conf]# ../bin/flume-ng agent -c ./ -f ./example05.conf -n a1 -Dflume.root.logger=INFO,console


6、 HTTP Source

配置文件：example06.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动angent命令（hadoop01）


.......


从另外的连接，通过命令发送HTTP请求到指定端口（hadoop01）

[root@hadoop01 mydata]# curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~"}]' http://0.0.0.0:8888

angent端接收到http请求信息


Sink 测试

1、file roll sink

配置文件：example07.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=file_roll
a1.sinks.k1.sink.directory=/usr/soft/apache-flume-1.6.0-bin/mydata

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动angent命令（hadoop01）（与HTTP Source测试启动一样）

从另外的连接，通过命令发送HTTP请求到指定端口（hadoop01）（与HTTP Source测试一样）

查看接收到的信息，保存到指定目录


2、Avro Sink，多级流动

hadoop01（http，avro）->hadoop02（avro，logger）

hadoop01配置文件：example081.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=hadoop02
a1.sinks.k1.port=9988

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

hadoop02配置文件：example082.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=9988

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动顺序，从后向前，

先启动hadoop02 agent


......


再启动hadoop01 agent


......


从另外的连接，通过命令发送HTTP请求到指定端口（hadoop01）

[root@hadoop01 mydata]# curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~hadoop01~hadoop02"}]' http://0.0.0.0:8888

angent端接收到http请求信息（hadoop02）


3、Avro Sink，扇出流-复制

hadoop01（http，avro）

    ->hadoop02（avro，logger）

    ->hadoop03（avro，logger）

hadoop01配置文件：example091.conf

#配置agent a1
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=hadoop02
a1.sinks.k1.port=9988

a1.sinks.k2.type=avro
a1.sinks.k2.hostname=hadoop03
a1.sinks.k2.port=9988

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.channels.c2.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1 c2
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2

hadoop02配置文件：example092.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=9988

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

hadoop03配置文件：example093.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=9988

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动顺序，从后向前，

先启动hadoop02 agent、hadoop03 agent（与arvo多级流动类似）

再启动hadoop01 agent


......


从另外的连接，通过命令发送HTTP请求到指定端口（hadoop01）

[root@hadoop01 mydata]# curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume"}]' http://0.0.0.0:8888

angent端接收到http请求信息（hadoop02、hadoop03）


4、Avro Sink，扇出流-多路复用（路由）

hadoop01（http，avro）

    ->hadoop02（avro，logger）—— c1

    ->hadoop03（avro，logger）—— c2

hadoop01配置文件：example0101.conf

#配置agent a1
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888
a1.sources.r1.selector.type=multiplexing
a1.sources.r1.selector.header=gender
a1.sources.r1.selector.mapping.male=c1
a1.sources.r1.selector.mapping.female=c2
a1.sources.r1.selector.default=c1

#配置对应的sink
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=hadoop02
a1.sinks.k1.port=9988

a1.sinks.k2.type=avro
a1.sinks.k2.hostname=hadoop03
a1.sinks.k2.port=9988

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.channels.c2.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1 c2
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2

hadoop02配置文件：example0102.conf（与example092.conf一样）

hadoop03配置文件：example0103.conf（与example093.conf一样）

启动顺序，从后向前，

先启动hadoop02 agent、hadoop03 agent（与arvo sink 扇出流-复制，一样）

再启动hadoop01 agent（与arvo sink 扇出流-复制，一样）

从另外的连接，通过命令发送HTTP请求到指定端口（hadoop01）

[root@hadoop01 mydata]# curl -X POST -d '[{ "headers" :{"gender" : "male","name" : "jay"},"body" : "hello~jay"}]' http://0.0.0.0:8888

angent端接收到http请求信息（hadoop02）


[root@hadoop01 mydata]# curl -X POST -d '[{ "headers" :{"gender" : "female","name" : "shirly"},"body" : "hello~shirly"}]' http://0.0.0.0:8888

angent端接收到http请求信息（hadoop03）


[root@hadoop01 mydata]# curl -X POST -d '[{ "headers" :{"gender" : "ladyboy","name" : "haha"},"body" : "hello~haha"}]' http://0.0.0.0:8888

angent端接收到http请求信息（hadoop02）


5、Avro Sink，扇入流

hadoop02（http，avro）->hadoop01（avro，logger）

hadoop03（http，avro）->hadoop01（avro，logger）

hadoop01配置文件：example0111.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=9988

#配置对应的sink
a1.sinks.k1.type=logger

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

hadoop02配置文件：example0112.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=hadoop01
a1.sinks.k1.port=9988

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

hadoop03配置文件：example0113.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=hadoop01
a1.sinks.k1.port=9988

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

启动顺序，从后向前，

先启动hadoop01 agent


......


再启动hadoop02 agent、hadoop03 agent


启动hadoop02，hadoop03agent后，hadoop01接收到连接信息


从另外的连接，通过命令发送HTTP请求到指定端口（hadoop02）

[root@hadoop02 ~]# curl -X POST -d '[{ "headers" :{"gender" : "male","name" : "jay"},"body" : "hello~jay"}]' http://0.0.0.0:8888

从另外的连接，通过命令发送HTTP请求到指定端口（hadoop03）

[root@hadoop03 ~]# curl -X POST -d '[{ "headers" :{"gender" : "female","name" : "shirly"},"body" : "hello~shirly"}]' http://0.0.0.0:8888

hadoop01angent端接收到（hadoop02、hadoop03）http请求信息


6、hdfs Sink

hadoop01配置文件：example012.conf

#配置agent a1
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#配置对应的source
a1.sources.r1.type=http
a1.sources.r1.port=8888

#配置对应的sink
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://0.0.0.0:9000/flume

#配置对应的channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#配置绑定关系（一个sink对应一个channel）
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

启动hadoop01 agent


......


从另外的连接，通过命令发送HTTP请求到指定端口（hadoop01）

[root@hadoop01 ~]# curl -X POST -d '[{ "headers" :{"gender" : "male","name" : "jay"},"body" : "hello~jay"}]' http://0.0.0.0:8888

hadoop01agent接收到http请求信息


查看hdfs上保存的文件信息




Flume-NG
fqw2019的博客
07-17 1791
Flume-NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。 架构设计要点 F...
Flume-NG指令集和第一个简单的案例
a118170653的专栏
01-23 3120
# flume-ng指令 commands:   help                      display this help text   agent                     run a Flume agent   avro-client               run an avro Flume client   version            
FUXA项目生产环境构建指南
最新发布
gitblog_07809的博客
06-11 302
FUXA项目生产环境构建指南 生产环境构建流程 FUXA作为一个工业自动化HMI/SCADA系统，其前端部分基于Angular框架开发。在生产环境部署时，需要进行专门的构建操作以优化性能并确保安全性。 构建步骤详解 进入客户端目录 首先需要定位到FUXA项目的client文件夹，这是前端代码所在的位置。 执行生产构建命令 在client目录下运行Angular的生产构建命令： ng bui...
Flume之flume-ng
我的博客
10-27 866
Flume之flume-ng
Flume常用命令
weixin_41227335的博客
10-11 2048
开启Flume： bin/flume-ng agent -f /opt/modules/flume-1.7.0-bin/conf/collectLog.conf -n a1 -f ：要用的配置文件 -n：配置文件中agent的名字（我这里用的是a1）
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS.docx
06-10
启动 Flume-ng，使用 telnet 命令写入一些数据，让 Flume 检测。 三、使用 Log4j 将日志输出到 HDFS 首先，需要启动 Hadoop 服务。然后，需要新建一个 Java 项目，引入 Log4j.jar 包依赖和 Flume 相关依赖。在 pom...
flume-ng安装
01-05
使用 wget 命令下载 Flume-NG 的安装包： `wget http://mirror.esocc.com/apache/flume/1.4.0/apache-flume-1.4.0-bin.tar.gz` 3. 解压 Flume-NG 使用 tar 命令解压 Flume-NG 的安装包： `tar -xzvf apache-flume-...
flume-ng-1.6.0-cdh5.14.0源码
09-11
6. **bin**: 包含可执行脚本，如启动、停止 Flume agent 的命令。 7. **src**: 源代码目录，分为多个子目录，对应不同的组件和模块。 8. **conf**: 默认配置文件和示例，用户可以在此基础上修改以适应自己的需求。...
flume-ng-1.6.0-cdh5.10.1.tar.gz的下载
09-15
4. 使用`flume-ng agent`命令启动Agent 总的来说，`flume-ng-1.6.0-cdh5.10.1.tar.gz`是一个强大的工具，对于需要实时处理和传输大规模日志数据的环境而言，它是不可或缺的一部分。通过其灵活的架构和丰富的功能，...
flume-ng-1.6.0-cdh5.14.0.tar.gz
07-07
Flume 提供了多种预定义的 Source 类型，如 Exec Source（用于执行命令并捕获输出）、Avro Source（用于接收 Avro 格式的数据）等。 3. **Channel**：Channel 作为数据缓冲区，临时存储从 Source 收集的数据，直到...
Flume-ng
leehbing的博客
03-19 344
Flume-ng的原理和使用 原文  http://blog.javachen.com/2014/07/22/flume-ng.html 主要是转载，但是leehbing也进行了一些整理，给网友献上 1. 介绍 Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flum
flume-ng
刘光华的专栏
07-17 797
Flume-ng是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。         Flume-ng是flume的重构版本，改动比较大。Flume-ng不在依赖于zookeeper。Flume-ng的主要概念有source，channel，si
FlumeNG
y878759487的博客
09-26 496
Flume是什么？ 收集、聚合事件流数据的分布式框架 通常用于log数据 采用ad-hoc方案，有如下优点:      可靠的、可伸缩、可管理、可定制、高性能      声明式配置，可以动态更新配置      提供上下文路由功能      支持负载均衡和故障转移      功能丰富      完全的可扩展 数据收集的框架 Flume的data flow data flow描
Flume报错解决方法：找不到命令 flume-ng，但它确实存在于当前位置。默认情况下，Windows PowerShell 不会从当前 位置加载命令。（系统找不到指定路径）
weixin_65194071的博客
04-15 2243
https://www.ctyun.cn/zhishi/p-261316方法二： 解决方法：找到目录下的文件C:clapache-flume-1.9.0-bin\bin\flume-ng.ps1，删除其339-405行的代码，重新执行命令即可。方法三：配置自己jdk的环境变量参考如下：（1）添加（2）在系统变量中path添加还可添加Flume的环境变量总结：我可以成功采取了三个办法结合（之前一个一个都没试出来）在cmd下，运行 flume-ng version 终于成功了！！！有想法，有帮助的，有效的请动动
Flume-ng 多节点集群搭建
热门推荐
LovePeppa的专栏
04-10 1万+
Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合，最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息，不仅限于日志。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。相比较而言，flume NG更简单更易于管理操作。 Flume OG:Flume ori
flume-ng简单介绍
既认准这条路，又何必在意要走多久
11-26 2950
flume-ng 简单介绍
Flume ng 简述
wk022的专栏
08-08 510
简介 Apache flume是一个日志收集系统 可以部署到一台机子上，也可以部署到多台机子上可以从多个来源获取数据，也可以将数据发往多个地方 我们这里主要讲一下flume ng，是flume og的下一个版本，更灵活，更稳定 架构 flume ng架构图如下 每个flume实例称为agent，是一个java进程 agent中包含Source，channel，
Hadoop学习笔记（28）Flume的命令和配置文件介绍
boranyueshijie的博客
06-27 1597
一、
flume-ng显示未找到命令
03-27
如果Flume的bin目录没有被添加到PATH中，系统就无法找到flume-ng命令。这时候需要检查用户的.bashrc或.bash_profile文件，看看是否有导出PATH的语句。例如，应该在文件中添加export PATH=$PATH:/path/to/flume/bin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值