Filebeat + Kafka + Elasticsearch + Kibana 实现日志收集与管理

如果是单台服务器的话，直接查看本地文件也是可以的，再搭配一些 Linux 命令，基本可以快速定位到问题。但现实情况中，我们的服务大部分都是部署在多台服务器上的，如果出现故障，到底是哪台服务器出的问题呢？很难排查，只能逐个登录服务器查看日志，这样做效率就太低了。

所以，必须得有一个集中管理日志的地方，可以把多台服务器上的日志汇总到一起。这样如果出现故障，我们到日志集中管理平台上一查，就可以快速定位到问题，并且可以确切的知道具体是哪台服务器出现了问题，何乐而不为呢？

这篇文章主要就是来解决这个问题。

怎么解决呢？说来也简单，因为已经有一套非常成熟的日志分析框架了，叫 ELK，而且在各大互联网公司都有成功的应用实践，网上资料也很多。

由于公司里面已经有一套日志分析框架了，所以，这件事情对我来说就更简单了，我只需要把日志内容发出去就好了。

在这里，我没有用 Logstash，而是用了更轻量的 Filebeat，配置起来也更方便。

Filebeat 日志源配置：

filebeat.inputs:

Each - is an input. Most options can be set at the input level, so

you can use different inputs for various configurations.

Below are the input specific configurations.

• type: log