运维&陈同学的博客

Grok 是一个过滤器插件，可帮助您描述日志格式的结构。有超过200种 grok模式抽象概念，如IPv6地 址，UNIX路径和月份名称。为了将日志行与格式匹配, 生产环境常需要将非结构化的数据解析成 json 结构化数据格式使用 Grok 插件可以基于正则表达式技术利用其内置的正则表达式的别名来表示和匹配上面的日志,如下 效果最终转换为以下格式参考网站范例: Nginx 访问日志。

logstash利用 sincedb 文件记录了logstash收集的记录文件的信息，比如位置，以方便下次接着从此位 置继续收集日志。codec 用于输入数据的编解码器，默认值为plain表示单行字符串，若设置为json，表示按照json方式解 析。Logstash 会记录每个文件的读取位置,下次自动从此位置继续向后读取。Logstash 从 Redis 收集完数据后,将删除对应的列表Key。范例: 以配置文件实现标准输入。范例: 交互式实现标准输入。范例: 列出所有插件。

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发 送到您最喜欢的一个或多个“存储库”中Logstash 可以水平伸缩，而且logstash是整个ELK中拥有最多插件的一个组件Logstash 基于 Java 和 Ruby 语言开发Logstash：收集、解析和转换日志 | ElasticLogstash 官方说明输入 Input：用于日志收集,常见插件: Stdin、File、Kafka、Redis、Filebeat、Http。

作为服务器上的代理安装，Filebeat监视您指定 的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。filebeat 支持从日志文件,Syslog,Redis,Docker,TCP,UDP,标准输入等读取数据,对数据做简单处理，再输 出至Elasticsearch,logstash,Redis,Kafka等。启动Filebeat时，它将启动一个或多个输入源，这些输入将在为日志数据指定的位置中查找。Run Options（可选）Logging(可选)

filebeat 支持从日志文件,Syslog,Redis,Docker,TCP,UDP,标准输入等读取数据,对数据做简单处理，再输 出至Elasticsearch,logstash,Redis,Kafka等。默认Nginx的每一次访问生成的访问日志是一行文本,ES没办法直接提取有效信息,不利于后续针对特定信 息的分析。Tomcat 是 Java 应用,当只出现一个错误时,会显示很多行的错误日志,如下所示。Java 应用的一个错误导致生成的多行日志其实是同一个事件的日志的内容。

范例：自定义索引名称收集所有系统日志到 ELasticsearch.....enabled: true #开启日志paths:- /var/log/system.log #指定收集的日志文件include_lines: ['sshd','failed', 'password'] #只过滤指定包含关健字的日志#include_lines: ['^ERR', '^WARN'] #只过滤指定包含关健字的日志#exclude_lines: ['Debug'] #排除包含关健字的日志。

Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器 和系统向 Logstash 或 Elasticsearch 发送数据。虽然利用 logstash 就可以收集日志，功能强大，但由于 Logtash 是基于Java实现，需要在采集日志的主 机上安装JAVA环境logstash运行时最少也会需要额外的500M的以上的内存，会消耗比较多的内存和磁盘空间。

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作,可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作,您可以很方便的利用 图表、表格及地图对数据进行多元化的分析和呈现。Kibana 可以使大数据通俗易懂。基于浏览器的界面便于您快速创建和分享动态数据仪表板来追踪 Elasticsearch 的实时数据变化。Kibana 基于 TypeScript 语言开发。

Master 节点 ES集群中只有一个 Master 节点，用于控制和管理整个集群的操作 Master 节点负责增删索引,增删节点,分片shard的重新分配 Master 主要维护Cluster State，包括节点名称,节点连接地址,索引名称和配置信息等 Master 接受集群状态的变化并推送给所有其它节点,集群中各节点都有一份完整的集群状态信息，都由master node负责维护 Master 节点不需要涉及到文档级别的变更和搜索等操作 协调创建索引请求或查询请求，将请求分发到相关的node上。

通过使用各种插件可以实现对 ES 集群的状态监控, 数据访问, 管理配置等功能 ES集群状态:green 绿色状态:表示集群各节点运行正常，而且没有丢失任何数据，各主分片和副本分片都运行正常yellow 黄色状态:表示由于某个节点宕机或者其他情况引起的，node节点无法连接、所有主分片都正常分配,有副本分片丢失，但是还没有丢失任何数据red 红色状态:表示由于某个节点宕机或者其他情况引起的主分片丢失及数据丢失,但仍可读取数据和存储监控下面两个条件都满足才是正常的状态集群状态为 green所有节点都启动Hea

为了保证性能，每个ES节点的JVM内存设置具体要根据 node 要存储的数据量来估算,建议符合下面约定。推荐使用宿主机物理内存的一半，ES的heap内存最大不超过30G,26G是比较安全的。范例：指定heap内存最小和最大内存限制。关于 Heap 内存大小。范例: 删除指定文档。范例: 删除所有索引。

内核参数 vm.max_map_count 用于限制一个进程可以拥有的VMA(虚拟内存区域)的数量 使用默认系统配置，二进制安装时会提示下面错误，包安装会自动修改此配置。因为 Elasticsearch 服务运行需要 Java环境，如果要安装没有JDK的包，需要提前安装JAVA环境，可以使用以下方式安装。如果没有java 环境,安装elasticsearch时会出下面错误提示。Elasticsearch 是基于java的应用,所以依赖JDK环境。方式一：直接使用包管理器yum/apt安装openjdk。

官方文档部署方式ES支持操作系统版本和 Java 版本官方说明。

官方介绍Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的 Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是 Elastic Stack 的核心组件。