ELK
关注
分享
扫一扫
普通网友
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Centos7.3 搭建ELK-6.0.0日志分析平台
Centos7.3 搭建ELK-6.0.0日志分析平台 ElasticSearch + LogStash + Kibana = ELKStack组件介绍Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动...原创 2018-04-18 17:16:23 · 1897 阅读 · 1 评论 -
Elasticsearch Mapping设置
Mapping类似数据库中的表结构定义，主要作用如下：定义Index下的字段名（Field Name）定义字段的类型，比如数据型、字符串型、布尔型等定义倒排索引相关配置，比如是否索引、记录position等自定义mapping：Mapping中字段类型一旦设定后，禁止直接修改（Lucene实现的倒排索引生成后不允许修改） 重新建立新的索引，然后做reindex操作 允许...原创 2018-06-21 22:30:34 · 9074 阅读 · 0 评论 -
Elasticsearch Search API
实现对es中存储的数据进行查询分析，endpoint为_search，查询主要有两种形式：URI Search：操作简便，方便通过命令行测试，仅包含部分查询语法Request Body Search：es提供完备查询语法Query DSL（Domain Specific Language）GET /bank/_search?q=gender:MGET /bank/account/_...原创 2018-06-22 12:29:39 · 6708 阅读 · 0 评论 -
Logstash 基础知识整理
相关名词： Pipeline：input-filter-output的三阶段处理流程队列管理插件生命周期管理Logstash Event：内部流转的数据表现形式原始数据在input被转换为Event，在output event被转换为目标格式数据在配置文件中可以对Event中的属性进行增删改查Logstash架构图： Batcher负责批量的从queu...原创 2018-06-29 21:49:35 · 12630 阅读 · 5 评论 -
logstash实战之apacheLogs和csv
实战apache日志时间处理："@timestamp" => 2018-06-29T03:18:12.532Z Logstash写入日志的时间"timestamp" => "17/May/2015:10:05:47 +0000" apache日志时间需求：将timestamp赋值给@timestamp字段，但保留日志写入时间 解决办法： ...原创 2018-06-29 22:32:54 · 1365 阅读 · 0 评论 -
Logstash常用filter插件
Filter是Logstash功能强大的主要原因，它可以对Logstash Event进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date: 日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、删除、替换等json：按照json解析字段内容到指定字段中geoip：增加地理位置数据ruby： 利用ruby代码...原创 2018-06-29 23:32:58 · 12762 阅读 · 0 评论 -
ELK实践（三）北京历年空气质量数据分析
一、了解数据及建模北京空气质量数据，下载地址 数据建模：PUT air_quality{ "mappings": { "doc": { "dynamic": false, "properties": { "@t原创 2018-07-08 15:00:38 · 2586 阅读 · 0 评论 -
Metricbeat、Packetbeat和Heartbeat
MetricbeatMetricbeat简介定期收集操作系统、软件或服务的指标数据存储在Elasticsearch中进行实时的分析Logs VS Metrics Logs:用来记录离散的时间，具有随机性。例如，应用程序的调试信息或错误信息等 Metrics:用于记录度量或可聚合的数据，具有计划性。例如，服务的响应时长等。 Metricbeat组成Module：Me...原创 2018-07-02 11:20:33 · 2929 阅读 · 1 评论 -
ELK之Kibana
多个Elasticsearch节点间的负载均衡如果 Elasticsearch 集群有多个节点，分发 Kibana 节点之间请求的最简单的方法就是在 Kibana 机器上运行一个 Elasticsearch 协调（Coordinating only node） 的节点。Elasticsearch 协调节点本质上是智能负载均衡器，也是集群的一部分，如果有需要，这些节点会处理传入 HTTP 请求，...原创 2018-07-02 20:10:24 · 1033 阅读 · 0 评论 -
Elasticsearch 数据建模
数据建模：英文为Data Modeling，为创建数据模型的过程 数据模型（Data Model）对现实世界进行抽象描述的一种工具和方法通过抽象的实体及实体之间联系的形式去描述业务规则，从而实现对现实世界的映射数据建模的过程：概念分析：确定系统的核心需求和范围边界，设计实现和实体间的关系逻辑模型：进一步梳理业务需求，确定每个实体的属性、关系和约束等物理模型：结合具体的数据...原创 2018-06-27 23:09:59 · 2218 阅读 · 0 评论 -
Elasticsearch 集群调优建议
生产环境集群搭建建议1.ES设置尽量简洁 elasticsearch.yml中尽量只写必备的参数，其他可以通过api动态设置的参数都通过api来设定 动态设定的参数有transient和persistent两种设置，前者在集群重启后会丢失，后者不会，但两种设定都会覆盖elasticsearch.yml中的配置。PUT /_cluster/settings{ "persiste...原创 2018-06-28 08:30:31 · 3353 阅读 · 1 评论 -
Elasticsearch 关联关系处理：Nested Object和Parent_Child
关联关系处理ES不擅长处理管理型数据库中的关联关系，比如文章表blog与评论表comment之间通过blog_id关联，在ES中可以通过如下两种手段变相解决：Nested ObjectParent/Child评论Comment：文章Id blog_id评论人 username评论日期 date评论内容 content Nested Object关系型...原创 2018-06-28 09:01:59 · 2448 阅读 · 1 评论 -
logstasg zabbix插件详解
Logstash错误日志发送到Zabbix并报警1.安装logstash-output-zabbix logstash-output-zabbix是一个社区维护的插件，它默认不安装,但是它安装起来也很容易，直接在logstash中运行即可：./bin/logstash-plugin install logstash-output-zabbix对于内网环境，我们可以将插件打包然...原创 2018-06-28 10:21:14 · 4771 阅读 · 1 评论 -
ELK实践（一）使用es搭建商品搜索项目
一、了解数据及建模实验使用的数据是类Airbnb网站上的房屋信息，结构如下所示： 数据建模： 自定义分析器，以实现搜索时的自动补全功能，针对不同的字段定义不同的数据类型，以达到最优的效果：例如dynamic设置为false，对于不需要分词的字段直接设置类型为keyword，不需要检索的字段index设置为false等等。附上具体配置以供参考：PUT testairbnb{ "...原创 2018-07-05 23:13:32 · 3286 阅读 · 0 评论 -
倒排索引与分词
倒排索引正排索引：文档ID到文档内容、单词的关联关系 倒排索引：单词到文档ID的关联关系 倒排索引查询流程：（以查询包含“搜索引擎”的文档为例）通过倒排索引获得“搜索引擎”对应的文档ID有1和3通过正排索引查询1和3的完整内容返回用户最终结果倒排索引是搜索引擎的核心，主要包含两部分：单词词典（Term Dictionary）（一般由B+Tree实现）记录所有文...原创 2018-06-20 22:11:57 · 2561 阅读 · 0 评论 -
ELK之插件安装
Eelasticsearch插件安装head插件bigdesk插件cerebro插件head插件elasticsearch5.0以下版本可以直接在elasticsearch目录下执行对应的命令安装head插件： https://github.com/mobz/elasticsearch-head# /usr/share/elasticsearch/bin/plugi...原创 2018-04-18 22:07:54 · 3194 阅读 · 0 评论 -
ELK之破解x-pack 6.0及更新许可
破解x-pack 6.0及更新许可背景 安装X-Pack时，默认会有30天的试用许可证，试用期结束后会无法访问，这时就需要到官网申请一年的免费license，所以。。。。破解x-pack用破解的x-pack-6.0.0.jar替换/usr/local/elk/elasticsearch-6.0.0/plugins/x-pack/目录中原有的x-pack-6.0.0.jar包，...原创 2018-04-18 23:42:44 · 3495 阅读 · 1 评论 -
ELK之filebeat
Filebeat学习整理filebeat概述Filebeat是本地文件的日志数据发送者。作为服务器上的代理安装，Filebeat监视日志目录或特定的日志文件，tails文件，并转发到Elasticsearch或Logstash索引。Filebeat是一个Beat，它是基于libbeat框架。 工作原理：启动Filebeat时，它会启动一个或多个prospectors(查找器)，查...原创 2018-04-23 23:20:35 · 1355 阅读 · 0 评论 -
ELK之logstash
Logstash学习整理1. 使用logstash解析日志通常logstash管道具有一个或多个输入，过滤器和输出插件，在本节中，将创建一个使用Filebeat将Apache Web日志作为输入的Logstash管道，解析这些日志以从日志中创建特定的命名字段，并将解析后的数据写入Elasticsearch群集要点：logstash启用自动配置重新加载 （–config.r...原创 2018-04-24 22:26:34 · 1282 阅读 · 0 评论 -
Elasticsearch批量获取Multi GET API和批量操作Bulk API用法
Multi GET API Bulk API 批量获取Multi GET APImget API参数是一个docs数组，数组的每个节点定义一个文档的_index、_type、_id元数据。mget可以有三种请求头 ：GET /_mget #不指定indexGET /test/_mget #指定index GET /test/type/_m...原创 2018-05-17 09:58:46 · 1738 阅读 · 0 评论 -
Elasticsearch索引笔记
之前写了一篇Elasticsearch学习整理的文章，介绍了elasticsearch的一些基本概念以及REST API的相关用法，现在对elasticsearch索引的相关知识做一些补充。倒排索引索引初始化索引的CURD操作Mapping映射索引模板版本控制倒排索引常规索引建立方式： 文档–>关键词的映射过程（正向索引） 缺点：费时，需要把文档...原创 2018-05-17 11:18:58 · 317 阅读 · 0 评论 -
Elasticsearch Query DSL
官方文档：Query DSLQuery DSL： Elasticsearch提供基于JSON的完整Query DSL（域特定语言）来定义查询。可以将查询DSL看作查询的AST（抽象语法树），它由两类子句组成：叶查询子句：叶查询子句在特定字段中查找特定值，如 match，term或 range查询。这些查询可以自己使用。复合查询子句：复合查询子句包装其他叶或复合查询，并用于以逻辑方式组...原创 2018-05-17 16:46:52 · 2318 阅读 · 0 评论 -
ELK之elasticsearch
Elasticsearch学习整理基本概念：集群（Cluster）节点（Node）索引（Index）文档（Document）分片和复制（Sshards & Replicas）探索集群 The REST API：检查集群，节点和索引运行状况，状态和统计信息GET /_cat/health?v #查看集群健康状态检查GET /_cat/no...原创 2018-04-26 22:17:57 · 469 阅读 · 0 评论 -
Elasticsearch 聚合分析详解
聚合AggregationsAggregations的部分特性类似于SQL语言中的group by，avg，sum等函数。但Aggregations API还提供了更加复杂的统计分析接口。掌握Aggregations需要理解两个概念：桶(Buckets)：符合条件的文档的集合，相当于SQL中的group by。比如，在users表中，按“地区”聚合，一个人将被分到北京桶或上海桶或其他桶里...原创 2018-05-17 17:08:27 · 2846 阅读 · 1 评论 -
ELK之获取用户地理位置
获取用户地理位置利用GeoIP映射用户地理位置直接处理日志中的经纬度信息在Elasticsearch中，所有的数据都有一个类型，什么样的类型，就可以在其上做一些对应类型的特殊操作。geo信息中的location字段是经纬度，我们需要使用经纬度来定位地理位置；在Elasticsearch中，对于经纬度来说，要想使用Elasticsearch提供的地理位置查询相关的功能，就需要构造一...原创 2018-05-07 22:38:22 · 1411 阅读 · 0 评论 -
Elasticsearch节点(角色)类型解释：node.master和node.data
1、简介在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的—node.master和node.data。默认情况下这两个属性的值都是true。下面详细介绍一下这两个属...转载 2018-05-15 14:31:05 · 11017 阅读 · 2 评论 -
x-pack 功能介绍及配置传输层安全性（TLS / SSL）
破解x-pack 6.0及更新许可x-pack功能使用： 功能名称 文件配置格式 适用组件 图形展示 xpack.graph.enabled 只使用于kibana组件 报表统计 pack.reporting.enabled 只使用于kibana组件 报警通知 xpack.watcher.enabled 只适用于elastic...原创 2018-05-22 20:19:16 · 9761 阅读 · 11 评论 -
ELK日志分析平台加入Kafka消息队列
在之前的搭建elk环境中，日志的处理流程为：filebeat --> logstash --> elasticsearch,随着业务量的增长，需要对架构做进一步的扩展，引入kafka集群。日志的处理流程变为：filebeat --> kafka --> logstash --> elasticsearch。架构图如下所示： Kafka: 数据缓冲队列。作为...原创 2018-06-03 15:01:04 · 2804 阅读 · 2 评论 -
elasticsearch权限管理 x-pack 6.0 的安装及Security模块使用 内置角色介绍
配置SSL/TSL以及ca证书的生成 x-pack安装 1.elasticsearch每个节点都需要安装x-packelasticsearch-plugin install x-pack12.启动elasticsearch 3.自定义设置密码./bin/x-pack/setup-passwords interactive1三个内置账号根据...转载 2018-05-23 09:28:44 · 2165 阅读 · 0 评论 -
ELK实践（二）nginx日志分析
一、了解数据及建模在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。logstash中默认存在一部分正则让我们来使用，可以在$logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1....原创 2018-07-06 13:09:07 · 1238 阅读 · 2 评论