很长很长的专栏

应用场景：logstash推上了时间戳类型，es无法直接识别 解决方法： 在模板上配置properties的时候指定字段的类型和格式 "time": { "format": "epoch_second", "type": "date" } 配置其他日期格式同理 "@timestamp"

最近有个需求 需要把filebeat推过来的数据进行处理，其中有个beat字段，里面的信息需要进行提取 在kibana里面展示会变成 beat.name beat.hostname "beat": { "hostname": "gz", "name": "gz", "version": "5.2.0" } 查阅了一些资料之后发现

需求场景：需要base64解码filebeat上传的某个字段，然后es方便做聚合 filter { grok { match => { "message" => "%{DATA:mark}&%{DATA:time}&%{WORD:app}&%{DATA:version}&%{DATA:deviceid}&%{DATA:channel}&%{

本文主要讲述的是php慢日志收集至elasticsearch 收集流程： 本文不提供安装教程 主要配置： Filebeat配置 filebeat 涉及多行配置所以要使用 multiline pattern：正则表达式 negate：true 或 false；默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行

收集系统日志是做监控的基础，本文章用rsyslog+elk收集系统日志 原理图： ryslog 配置 ryslog 是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版，它将多种来源输入输出转换结果到目的地 vim /etc/rsyslog.conf 找到 #*.* @@remote-host:514 修改 #*

项目需求：需要过滤后聚合某些没有分词的字段 注意：因为项目字段都是string 所以这里都是Terms Aggregation # 基本字段查询 query_string针对的是没有分词的字段，time对应是每秒的时间戳 { "query":{ "query_string":{ "query":"time:[1491987322 TO 1491

业务场景：新版本日志需要添加字段，需要兼容新旧日志匹配版本：logstash-2.3filter { grok { match => [ "message" , "%{DATA:hostname}\|%{DATA:tag}\|%{DATA:types}\|%{DATA:uid}\|%{GREEDYDATA:msg}", ...