ELK日志分析系统

已于 2025-06-13 15:06:22 修改
阅读量1.1k 收藏 9
点赞数 22
CC 4.0 BY-SA版权
文章标签： elk
于 2025-06-13 15:05:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_88768957/article/details/148625504

目录

一，了解什么是ELK

1，ELK三个角色

2，Elasticsearch概述

3，Logstach概述

数据流转流程

4，Kibana概述

5，三个角色的工作顺序

二，部署ES群集

1，准备环境

2，103，104部署es 

三，102操作部署

3，安装kibana

一，了解什么是ELK

    ELK 是三个开源软件的组合缩写，分别指 Elasticsearch、Logstash 和 Kibana。它是目前主流的日志管理与分析解决方案，广泛应用于数据采集、存储、检索和可视化场景。

    日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
    通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如:开源的syslog，将所有服务器上的日志收集汇总。
    集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从

1，ELK三个角色

ELK由ElasticSearch、Logstash 和 Kiabana 三个开源工具组成。

  • Elasticsearch 是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引副本机制，restfu1风格接口，多数据源，自动搜索负载等。
  • Logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)
  • Kibana 也是一个开源和免费的工具，它Kibana 可以为 Logstash 和ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2，Elasticsearch概述

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便

  • 接近实时(NRT)：Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
  • 集群(cluster)：一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就。这个名字是重要的，因为一个节点只能通过指定某个集是“elasticsearch”群的名字，来加入这个集群。
  • 节点(node)：一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。

       一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着,如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何 Elasticsearch 节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

  •    索引(index)：一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。
  •    类型(type)：在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
  •    文档(document)：一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON(Javascript 0bject Notation)格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。在一个 index/type 里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的 type。
  • 分片和复制：个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有 10亿文档的索引占据 1TB 的磁盘空间，而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引’这个“索引”可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因：允许你水平分割/扩展你的内容容量，允许你在分片(潜在地，位于多个节点上)之上进行分布式的、并行的操作，进而提高性能/吞吐量。

3，Logstach概述

Logstash 有 JRuby 语言编写，运行在 Java虚拟机(JVM)上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Ligstash 具有强大的插件功能，常用于日志处理。

  • Logstash 的设计理念：Logstash只做三件事，数据输入、数据加工、数据输出

1，Input（输入阶段）

  • 功能：负责从各种数据源中读取原始数据。
  • 常见数据源：
    • 文件（如日志文件、CSV）：使用 file 插件。
    • 网络协议（如 TCP、UDP、HTTP）：使用 tcp、udp、http 插件。
    • 消息队列（如 Kafka、RabbitMQ）：使用 kafka、rabbitmq 插件。
    • 数据库（如 MySQL、Elasticsearch）：使用 jdbc、elasticsearch 插件。
    • 其他：系统日志（syslog）、命令行输出（exec）等。

2，Filter（过滤 / 转换阶段）

  • 功能：对输入的数据进行解析、转换、清洗和丰富。
  • 常见操作：
    • 解析结构化数据：如 JSON、CSV、XML（使用 json、csv、xml 插件）。
    • 提取字段：使用 grok 解析非结构化文本（如日志行）。
    • 数据转换：日期格式化（date）、条件判断（if-else）、字段计算（mutate）。
    • 数据清洗：删除敏感字段（drop）、添加标签（tag）。
    • 数据丰富：从外部数据源查找信息（lookup）。

3，Output（输出阶段）

  • 功能：将处理后的数据发送到目标存储或系统。
  • 常见目标：
    • 搜索引擎：Elasticsearch（使用 elasticsearch 插件）。
    • 消息队列：Kafka、RabbitMQ（使用 kafka、rabbitmq 插件）。
    • 存储系统：文件（file）、S3（s3）、HDFS（hdfs）。
    • 监控工具：Graphite、Prometheus（使用 graphite、prometheus 插件）。
    • 其他：邮件（email）、HTTP 端点（http）等。

数据流转流程

  1. 输入阶段：Logstash 从数据源读取原始数据，每条数据被封装为一个 Event（事件）。
  2. 过滤阶段：Event 依次经过多个过滤器处理，每个过滤器按顺序修改或增强数据。
  3. 输出阶段：处理后的 Event 被发送到一个或多个输出目标（支持多输出）。

4，Kibana概述

Kibana 是一个设计使用和 Elasticsearch 配置工作的开源分析和可视化平台。可以用它进行搜索、查看、集成 Elasticsearch 中的数据索引。可以利用各种图表、报表、地图组件轻松的对数据仅进行可视化分析

  • Elasticsearch 无缝集成
  • 整合数据
  • 复杂数据分析
  • 让更多的团队成员收益
  • 接口灵活
  • 配置简单
  • 可视化多数据源
  • 简单数据导出
     

5，三个角色的工作顺序

1，数据采集阶段（Logstash）

  • 输入：Logstash 从各种数据源（如日志文件、网络设备、应用程序日志、消息队列等）收集原始日志数据。
  • 过滤：对原始日志进行清洗、转换和结构化处理（如提取时间戳、解析 JSON、添加标签等）。
  • 输出：将处理后的日志数据发送到 Elasticsearch 存储。

2，数据存储与检索阶段（Elasticsearch）

  • 索引：Elasticsearch 将接收到的日志数据存储为 JSON 文档，并构建倒排索引以支持快速检索。
  • 分片与副本：数据被分散存储在多个分片（Shard）中，每个分片可配置副本（Replica）以提高可用性和性能。
  • 搜索与分析：提供 RESTful API 接口，支持复杂的查询、聚合分析（如统计、分组、排序）。

3，数据可视化阶段（Kibana）

  • 连接 Elasticsearch：Kibana 通过 API 与 Elasticsearch 集群通信，获取日志数据。
  • 可视化查询：用户通过 Kibana 界面构建搜索条件（如时间范围、关键词过滤）。
  • 生成图表与仪表盘：将查询结果以图表、表格等形式展示，并支持自定义仪表盘进行实时监控。

二，部署ES群集

1，准备环境

192.168.10.101    httpd+filebeat
192.168.10.102    logstash
192.168.10.103    elk1
192.168.10.104    elk2

2，103，104部署es 

[root@bogon ~]# vim /etc/selinux/config 
[root@bogon ~]# setenforce 0
[root@bogon ~]# systemctl stop firewalld
[root@bogon ~]# systemctl disable firewalld
[root@bogon ~]# vim /etc/selinux/config
SELINUX=disabled

准备用户

[root@elk1 ~]# useradd es
[root@elk1 ~]# passwd es
更改用户 es 的密码 。           ##修改密码
新的密码： 
无效的密码： 密码少于 8 个字符
重新输入新的密码： 
passwd：所有的身份验证令牌已经成功更新。
[root@bogon ~]# hostnamectl set-hostname elk1
[root@bogon ~]# bash
[root@elk1 ~]# visudo 
%wheel        ALL=(ALL)       NOPASSWD: ALL  	120row
去掉%符号

以es用户继续配置

[root@elk1 ~]# gpasswd -a es wheel
[root@elk1 ~]# su - es
[es@elk1 ~]$ sudo dnf -y install java-11
[es@elk1 ~]$ sudo vim /etc/security/limits.conf 
末尾添加
es soft nofile 65535
es hard nofile 65535
es soft nproc  65535
es hard nproc  65535
es soft memlock unlimited
es hard memlock unlimited

注:nofile的no是No的意思，表示数量。

[es@elk1 ~]$ sudo vim /etc/sysctl.conf
vm.max_map_count=655360

配置完成后重启虚拟机reboot

安装es软件

[es@elk1 ~]$ cd /opt
[es@elk1 opt]$ ls
elasticsearch-7.10.0-linux-x86_64.tar.gz
[es@elk1 opt]$ sudo tar zxf elasticsearch-7.10.0-linux-x86_64.tar.gz 
[es@elk1 opt]$ sudo mv elasticsearch-7.10.0 /etc/elasticsearch
[es@elk1 opt]$ cd /etc/elasticsearch/
[es@elk1 elasticsearch]$ ls
bin     jdk  LICENSE.txt  modules     plugins
config  lib  logs         NOTICE.txt  README.asciidoc
[es@elk1 elasticsearch]$ cd config
[es@elk1 config]$ ls
elasticsearch.yml  jvm.options.d      role_mapping.yml  users
jvm.options        log4j2.properties  roles.yml         users_roles

[es@elk1 config]$ sudo vim jvm.options
-Xms2g			22row
-Xmx2g			23row

修改配置文件

[es@elk1 config]$ sudo vim elasticsearch.yml 
cluster.name: my-application	#17
node.name: elk1			#23
path.data: /path/to/data	#33
path.logs: /path/to/logs	#37
bootstrap.memory_lock: false	#43
network.host: 0.0.0.0		#55
http.port: 9200			#59
discovery.seed_hosts: ["elk1", "elk2"]		#68
cluster.initial_master_nodes: ["elk1"]		#72

创建目录设置权限

[es@elk1 config]$ sudo mkdir -p /path/to/data
[es@elk1 config]$ sudo mkdir -p /path/to/logs
[es@elk1 config]$ sudo vim elasticsearch.yml 
[es@elk1 config]$ ll /path
总计 4
drwxr-xr-x 4 root root 4096  6月13日 10:13 to
[es@elk1 config]$ sudo chown -R es:es /path/to
[es@elk1 config]$ ll /path
总计 4
drwxr-xr-x 4 es es 4096  6月13日 10:13 to

[es@elk1 config]$ sudo chown -R es:es /etc/elasticsearch/
[es@elk1 config]$ ll /etc/elasticsearch/
总计 584
drwxr-xr-x  2 es es   4096 2020年11月10日 bin
drwxr-xr-x  3 es es   4096  6月13日 10:14 config
drwxr-xr-x  9 es es   4096 2020年11月10日 jdk
drwxr-xr-x  3 es es   4096 2020年11月10日 lib
-rw-r--r--  1 es es  13675 2020年11月10日 LICENSE.txt
drwxr-xr-x  2 es es   4096 2020年11月10日 logs
drwxr-xr-x 53 es es   4096 2020年11月10日 modules
-rw-r--r--  1 es es 544318 2020年11月10日 NOTICE.txt
drwxr-xr-x  2 es es   4096 2020年11月10日 plugins
-rw-r--r--  1 es es   7313 2020年11月10日 README.asciidoc

[es@elk1 config]$  /etc/elasticsearch/bin/elasticsearch &
[1] 2111

注：Exception in thread "main" java.nio.file.AccessDeniedException: /etc/elasticsearch/config/elasticsearch.keystore 报这个错误，说明后面的文件所有者及所有组不是es，更改为es即可。

2025-06-13 10:43:03,061 main ERROR Null object returned for RollingFile in Appenders.
2025-06-13 10:43:03,065 main ERROR Unable to locate appender "rolling" for logger config "root"

出现这种错误，说明日志目录，es没有权限，授予权限即可。

查看端口，访问测试

[es@elk1 ~]$ netstat -anpt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      3305/java  

浏览器访问：
http://192.168.10.103:9200/_cat/nodes 
192.168.10.103 19 96 1 0.00 0.10 0.17 cdhilmrstw * elk1
192.168.10.104  6 83 1 0.08 0.48 0.38 cdhilmrstw - elk2

http://192.168.10.104:9200/_cat/nodes
192.168.10.104  7 83 2 0.11 0.45 0.37 cdhilmrstw - elk2
192.168.10.103 20 96 1 0.00 0.09 0.17 cdhilmrstw * elk1

三，102操作部署

[root@localhost ~]# dnf -y install java-11
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# dnf -y install java-11
[root@localhost ~]# tar zxf logstash-7.10.0-linux-x86_64.tar.gz 
[root@localhost ~]# mv logstash-7.10.0 /etc/logstash
[root@localhost ~]# chmod -R 777 /etc/logstash/data/
 /etc/logstash/bin/logstash -e "input {stdin{}} output{stdout{codec=> rubydebug} }"

[2025-03-01T12:22:33,642][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
	…略
{
       "message" => "",
    "@timestamp" => 2025-03-01T04:23:49.772Z,
      "@version" => "1",
          "host" => "localhost.localdomain"
}
1111
{
       "message" => "1111",
    "@timestamp" => 2025-03-01T04:23:53.559Z,
      "@version" => "1",
          "host" => "localhost.localdomain"
}

准备测试文件

[root@localhost config]# pwd
/etc/logstash/config

[root@localhost config]# vim system.conf
input {
   file{
         path => "/var/log/messages"
         type => "system"
         start_position =>"beginning"
     }
}
output {
   elasticsearch {
         hosts => ["192.168.10.103:9200"]
         index =>"system-%{+YYYY.MM.dd}"
     }
}

[root@localhost logstash]# /etc/logstash/bin/logstash -f /etc/logstash/config/system.conf 

[2025-03-01T12:42:01,747][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

另开一个终端，查看进程状态
[root@localhost ~]# netstat -anpt  |grep java
tcp6       0      0 127.0.0.1:9600          :::*                    LISTEN      2610/java           
tcp6       0      0 192.168.10.102:43256    192.168.10.103:9200     ESTABLISHED 2610/java           
tcp6       0      0 192.168.10.102:39694    192.168.10.103:9200     ESTABLISHED 2610/java

3，安装kibana

[es@elk1 ~]$ exit
注销

以root身份上传kibana压缩包到/opt，用es用户提权操作。

[es@elk1 opt]$ sudo tar zxf kibana-7.10.0-linux-x86_64.tar.gz 
[es@elk1 opt]$ sudo mv kibana-7.10.0-linux-x86_64 /etc/kibana
[es@elk1 etc]$ sudo chown -R es:es /etc/kibana/
[es@elk1 opt]$ sudo vim /etc/kibana/config/kibana.yml 
server.port: 5601	2row
server.host: "0.0.0.0"		7row
elasticsearch.hosts: "http://192.168.10.103:9200"	28row
kibana.index: ".kibana"		32row
i18n.locale: "zh-CN"	107row

[es@elk1 opt]$ /etc/kibana/bin/kibana &
	…略
[03:19:04.277] [info][server][Kibana][http] http server running at http://0.0.0.0:5601
	…略

[es@elk1 ~]$ sudo netstat -anpt | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      3946/node

配置完成后即可访问测试

http://安装kibana的IP地址:5601

定义索引->发现->查看数据（注意日期）
system-2025.03.01

 

付出不多
关注
开源实时日志分析平台—ELK
w1206507055的博客
06-15 1万+
了解开源实时日志分析平台ELK
ELK日志
Rikkatang的博客
11-23 2595
ELK1.ELK日志分析系统简介2.Elasticsearch介绍3.Logstash介绍4.Kibana介绍5.部署ELK日志分析系统6.案列部署Elasticsearch部署logstash部署kibana 1.ELK日志分析系统简介 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lQpGTQqj-1606131447469)(C:\Users\Rikka\AppData\Roaming\Typora\typora-user-images\1606120893157.pn
Centos7下搭建ELK日志分析系统
11-02
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本，操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别，安装过程中报错可能不尽相同，主要记录了ELK各组件软件的安装步骤，供各位有需要的人参考！！！
ELK搜索高级
1663988740
08-05 5305
ELK搜索高级课程 1． 课程简介 1.1 课程内容 ​ ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体，分别取其首字母组成ELK。ELK是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 ​ 本课程分别对三个组件进行详细介绍，尤其是Elasticsearch，因为它是ELK的核心。Elasticsearch会对底层的文档、索引、搜索、聚
ELK日志系统
最新发布
m0_71178834的博客
08-01 1283
1、es的主从和数据模式es数据库的主从类型 true false数据节点，是否保存数据，logstash发送数据，节点是否接受以及保存es如何创建，修改，删除数据 数据管理通过http的方式post方式修改数据创建数据对应的就是本地数据库的地址，ip+端口index-demo创建索引分片的名称test数据的名称或者数据的类型1数据的id字段?参数设定为json格式-d数据的具体内容修改数据删除数据。
ELK日志分析系统搭建
05-01
### ELK日志分析系统搭建详解 #### 一、ELK简介 ELK栈是由Elasticsearch、Logstash和Kibana三个组件组成的开源日志分析解决方案。它们各自承担着不同的角色，在一起协同工作，形成了高效的数据处理流程。 1. **...
Elastic Stack 概述
weixin_45880055的博客
04-24 3316
文章目录一、Elastic Stack简介三、elasticsearch四、logstash二、Beats五、kibana六、常见架构 一、Elastic Stack简介 “ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用
ELK企业级日志分析系统概述及部署
王大雏的博客
07-20 2020
ELK企业级日志分析系统概述及部署一、ELK日志分析系统概述1、ELK简介2、为什么要使用ELK？3、完整日志系统基本特征4、ELK的工作原理5、ELK日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四、Kibana概述1、Kibana主要功能五、部署ELK实验需求环境配置配置基础环境（一）ELK Elasticsearch 集群部署（在Node1、Node2节点上操作）1．环境准备2．部署 Elasticsearch 软件
ELK日志管理
xiaogengtongxu的博客
07-16 1396
通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK 是 elastic 公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为 elastic.co，ELK stack 的主要优点有如下几个：处理方式灵活： elasticsearch 是实时全文索引，具有强大的搜索功能配置相对简单：elasticsearch 的 API 全部使用 JSON 接
ELK——日志处理界的瑞士军刀
hy199707的博客
04-11 3458
在大数据时代，日志管理与分析已经成为运维、开发和业务优化中不可或缺的一环。而ELK ，即Elasticsearch、Logstash、Kibana三者组成的开源解决方案，以其强大的实时数据分析能力，在业界广受好评，被誉为“日志处理界的瑞士军刀”。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值