he_321的博客

安装 （1）编辑flume-env.sh配置文件，配置javahome export JAVA_HOME=/home/bxp/Documents/install/jdk1.8.0_131 （2）将flume与hdfs集成的jar包导入的到flume的lib目录下（自行度娘下载）。 命令 bin/flume-ng agent global options（全局选项）： --conf

flume的HA就是HDFS的HA，如何配置HDFS HA可以查看HDFS高可用（HA）配置 HDFS HA配置好了以后，为了Flume能够访问HDFS HA，将hdfs的配置文件core-site.xml，hdfs-site.xml拷贝到flume的配置目录conf下，让flume自己去解析即可。

flume由clouder公司开发并且开源。flume是一个分布式可靠的进行数据收集，聚合，移动的框架，他进行数据的实时收集。flume架构简单灵活，由java编写，只能够支持linux操作系统。 flume分布式架构： 每个服务器上都有日志，再每个服务器安装flume客户端 flume日志收集架构： Flume只有一个角色的节点，agent角色，agent由source，

在使用exec来监听数据源虽然实时性较高，但是可靠性较差，当source程序运行异常或者linux命令中断，都会造成数据的丢失，再恢复正常运行之前，数据的完整性无法得到保证。 Spooling Directory Source通过监听某个目录下的新增文件，并将文件的内容读取出来，实现日志信息的收集。实际使用中会结合log4j进行使用。被传输结束的文件会修改后缀名，添加.completed后缀（可

文件内容如下： #define agent agent.sources = r2 agent.channels = c2 agent.sinks = k2 # defined source agent.sources.r2.type = exec agent.sources.r2.command = tail -f /home/bxp/Documents/doc/flume/test.l

1、配置nginx.conf，添加以下配置 http { #配置日志格式 log_format lf '$remote_addr^A$msec^A$http_host^A$request_uri'; server { listen 80; server_name localhost; location / { ...