Elasticsearch+Logstash+Filebeat+Kibana部署

一、配置准备

关闭防火墙与安全上下文

[root@elk ~]# systemctl stop firewalld
[root@elk ~]# setenforce 0

安装elasticsearch、kibana、logstash、filebeat

二、单机模式 ELK部署

修改域名解析

[root@elk ~]# vim /etc/hosts

elasticsearch配置

[root@elk ~]# vim /etc/elasticsearch/elasticsearch.yml

启动elasticsearch服务

logstash

[root@elk ~]# cd /etc/logstash/conf.d/
[root@elk conf.d]# vim pipline.conf
[root@elk conf.d]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

kibana

[root@elk ~]# vim /etc/kibana/kibana.yml 

启动服务

[root@elk ~]# systemctl start kibana.service
[root@elk ~]# netstat -anput | grep node

验证

[root@elk ~]# logstash -e 'input{ stdin{} }output { stdout{} }'

[root@elk ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

网页访问

生成图表

[root@elk ~]# logstash -f /etc/logstash/conf.d/pipline.conf   ##生成日志

三、分布式系统日志监控 - ELKF整合实验

准备阶段

基础

elasticsearch-7.1.1-1.x86_64

logstash-7.1.1-1.noarch

filebeat-7.1.1-1.x86_64

kibana-7.1.1-1.x86_64

[root@everyone ~]# vim /etc/hosts
[root@everyone ~]# systemctl stop firewalld
[root@everyone ~]# setenforce 0

配置

elasticsearch 端

[root@elas ~]# vim /etc/elasticsearch/elasticsearch.yml 

kibana端

logstash端

链接命令，方便使用

[root@logstash ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

启动服务

[root@logstash ~]# logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.11.5:9200"]} }'

本地端系统日志采集

logstash端

[root@logstash ~]# cd /etc/logstash/conf.d/
[root@logstash conf.d]# vim messages.conf
[root@logstash conf.d]# logstash -f /etc/logstash/conf.d/messages.conf 

Filebeat端 系统日志采集

logstash端

[root@logstash conf.d]# vim filebeat.conf

filebeat端

启动服务

[root@filebeat ~]# systemctl start filebeat.service 

[root@logstash conf.d]# logstash -f /etc/logstash/conf.d/filebeat.conf

Filebeat端 nginx+系统 日志收集

filebeat端

[root@filebeat ~]# vim /etc/filebeat/filebeat.yml 
[root@filebeat ~]# filebeat test config  ##检测文件
Config OK

logstash端

root@logstash conf.d]# vim filebeat.conf 

启动服务

[root@filebeat ~]# systemctl status filebeat
[root@logstash conf.d]# logstash -f /etc/logstash/conf.d/filebeat.conf ##指向文件

Filebeat端 Crond 日志收集

logstash

filebeat端

结果

Filebeat端 SSH 日志收集

logstash端

filebeat端

结果

Filebeat端 系统 日志收集

Filebeat端 mysql 日志收集

logstash端

filebeat端

结果

Filebeat端 redis 日志收集

logstash端

filebeat端

结果

Filebeat端 DHCP 日志收集

配置dhcp，生成日志

dhcp端添加新网卡，并修改配置文件

[root@filebeat dhcp]# cp /usr/share/doc/dhcpd.conf.example /etc/dhcp/

[root@filebeat ~]# vim /etc/rsyslog.d/dhcpd.conf
# 过滤 dhcpd 的日志（服务端）
if $programname == 'dhcpd' then /var/log/dhcpd/dhcp.log

filebeat端

logstash端

结果

Filebeat端 DNS 日志收集

配置DNS

[root@filebeat ~]# mkdir -p /var/log/named
[root@filebeat ~]# chown named:named /var/log/named
[root@filebeat ~]# chmod 755 /var/log/named
[root@filebeat ~]# vim /etc/named.conf 

vim /etc/named.rfc1912.zones

[root@filebeat ~]# cd /var/named/
[root@filebeat named]# cp -p named.empty wezzer.com.zones
[root@filebeat named]# cp -p named.empty 192.168.100.zones
[root@filebeat named]# vim wezzer.com.zones 
[root@filebeat named]# vim 192.168.100.zones 
[root@filebeat named]# vim /etc/resolv.conf 
[root@filebeat named]# systemctl start named ##启动服务进行访问

filebeat端

logstash端

结果

Filebeat端 RSYNC 日志收集

 rsync -avz --log-file=/var/log/rsync.log 用户@IP:/path /path/
 ##指定生成日志

filebeat端

logstash端

结果

Filebeat端 TOMCAT 日志收集

filebeat端

logstash端

结果

Filebeat端 NFS 日志收集

filebeat端

logstash端

结果

Filebeat端 LVS 日志收集

logstash端

filebeat端

结果

Filebeat端 KEEPALIVED 日志收集

filebeat端

logstash端

结果

Filebeat端 HAPROXY日志收集

filebeat端

logstash端

结果