实现基于EFK日志平台收集Kubernetes集群日志信息

已于 2022-08-08 09:07:33 修改
阅读量1.7k 收藏 11
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 《Kubernetes理论及故障排查》 《ELKStack从入门到精通》 文章标签： elasticsearch docker
于 2021-08-18 10:15:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44953658/article/details/119773871
本文介绍了如何在Kubernetes集群中基于EFK（Elasticsearch, Fluentd, Kibana）搭建日志收集平台。首先，阐述了EFK的工作原理，接着详细讲述了部署EFK的步骤，包括部署nfs、elasticsearch、kibana和fluentd，以及配置和验证EFK集群的可用性。通过这个平台，可以有效管理和分析集群中的日志数据。" 114078909,10538379,Java实现掷骰子游戏窗口版,"['Java开发', '游戏开发', 'GUI编程', '并发编程', '设计模式']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

kubernetes集群基于EFK实现日志收集平台

文章目录

1.EFK工作原理

EFK其实和ELK差不多，只不过EFK是k8s专门的日志收集平台，其中的F是fluentd

首先通过fluentd收集程序的日志，然后将日志存储到elasticsearch集群，最后在kibana上关联elasticsearch，实现日志的查询。
请添加图片描述

  • Elasticsearch

    • 一个开源的分布式、Restful 风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene。
    • 一个分布式的实时文档存储，每个字段可以被索引与搜索；
    • 一个分布式实时分析搜索引擎；
    • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。

  • Fluentd

    • 一个针对日志的收集、处理、转发系统。通过丰富的插件系统，可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。
    • Fluentd通过一组给定的数据源抓取日志数据，处理后，将它们转发给其他服务，比如
了解本专栏 订阅专栏 解锁全文 超级会员免费看
kubernetes集群搭建efk日志收集平台
jks212454的博客
07-03 2754
kubernetes集群搭建efk日志收集平台
kubernetes集群部署EFK收集集群日志
wjianwei666的专栏
04-29 135
Fluentd是一个用于统一日志层的开源数据收集器。# 插件地址：https://github.com/repeatedly/fluent-plugin-multi-format-parser。 # 匹配tag为raw.kubernetes.**日志信息。remove_key_name_field true # key_name 解析成功后删除字段。time_format %Y-%m-%dT%H:%M:%S.%NZ # 时间格式。
EFK日志系统集群部署
weixin_38355671的博客
07-30 929
这里写目录标题EFK安装指南安装步骤1.JDK安装2. Elasticsearch安装 EFK安装指南 摘 要：EFK是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。本章将带领学生学习如何搭建EFK。 关键词：EFK；Elasticsearch；FileBeat； Kibana；JDK 安装步骤 1.JDK安装 Elasticsearch需要运行在Java 8 及以上，所以需要先安装Java8，下载JavaJDK (1) 下载JDK 可以
efk日志
仅做个人笔记
02-18 513
转自https://blog.csdn.net/weixin_42595012/article/details/90054021，仅做个人备份，浏览请看原文 Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。 EFK 和 ELK 只有一个区别， 收集日志的组件由 Logstash.
EFK日志搭建
afs17958的博客
09-05 160
安装java 安装java1.8以上的版本并验证 [root@localhost ~]# yum install java [root@localhost ~]# java -version openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-b10) OpenJDK 6...
利用EFK对日志进行采集
这人脑子有点不够用
04-20 833
配置完成后将项目打包进行发布，可以先测试一下查看你的logs里时候生成了日志，或者查看日志是否正确，然后访问。your Ip:5601 界面。配置完成后在文件所在目录下执行。然后配置我们的项目日志配置。
EFK日志收集 【初步概览】
qq_34819372的博客
11-30 752
引用自官网 https://www.elastic.co/cn/products
在K8S集群中部署EFK日志收集
最新发布
小五
05-14 1312
本文介绍了在CentOS 7.9系统上，使用Kubernetes（K8S）v1.26.14版本部署Elasticsearch（ES）7.17.3的过程。首先，环境准备包括配置Ceph或NFS存储，并增加RBAC权限和日志模板。接着，通过ECK方式安装自定义资源并部署Elasticsearch，配置了Master节点和Data节点的角色及资源需求。生产环境中建议优化Master节点配置，分离Data节点角色以提高性能。最后，通过测试验证ES的正常运行，并提供了Fluentd的DaemonSet配置文件示例，用
在 Kubernetes 上搭建 EFK 日志收集系统
忆网
07-30 3366
Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。
K8s日志收集 - EFK
Python Golang
08-17 444
对于任何基础设施或后端服务系统，日志都是极其重要的，借助日志可以分析程序的运行状态、用户的操作行为等。
K8S部署EFK（fluentd）收集日志
qq_39746321的博客
03-19 2938
部署EFK日志收集系统，收集K8S对应pod的日志
IT学习笔记--日志收集系统EFK
xudasong123的博客
04-24 2561
前言 EFK可能都不熟悉，实际上EFK是大名鼎鼎的日志系统ELK的一个变种。 在没有分布式日志的时候，每次出问题了需要查询日志的时候，需要登录到Linux服务器，使用命令cat -n xxxx|grep xxxx 搜索出日志在哪一行，然后cat -n xxx|tail -n +n行|head -n 显示多少行，这样不仅效率低下，而且对于程序异常也不方便查询，日志少还好，一旦整合出来的日志达到几...
怎样合理创建es索引_图解Elasticsearch之一——索引创建过程
weixin_29021195的博客
12-24 1011
0、引言这是国外培训ppt课程的节选内容。以下是我们的Core Elasticsearch：Operations课程中的一些很棒的幻灯片，它们有助于解释分片分配的概念。 我们建议您更全面地了解这一点，但我会在此提供我们培训的概述：分片分配是将分片分配给节点的过程。 这可能发生在初始恢复，副本分配，重新平衡或添加或删除节点期间。 大多数时候，你不需要考虑它，这项工作是由Elasticsearch在后...
每日一更 EFK日志分析系统
ly4983的专栏
07-02 697
解决的方法是，先不映射/usr/share/elasticsearch/config，启动后docker cp 容器id:/usr/share/elasticsearch/config （宿主机目录）/home/docker-EFK/config/。把容器的这个目录拷贝到宿主机，然后再在yaml中加入- /home/docker-EFK/config/:/usr/share/elasticsearch/config。搜索隐藏的见解，编制图表仪表板，仪表、地图和其他可视化显示您发现的内容，并与他人分享。
EFK日志管理初探
qq_25101621的博客
09-28 591
简述 Elasticsearch，Fluentd，和Kibana（EFK）允许你收集、索引、搜索、和可视化日志数据。 Elasticsearch elasticsearch是基于Lucene的搜索服务器，提供实时搜索和分析数据。它提供了一个分布式、多租户可全文搜索引擎REST风格的Web界面和无模式JSON文件。 Kibana kibana是一个开源的（Apache许可），Elastics
EFK(Elasticsearsh+Filebeat+Kibana)——分布式日志收集系统(三)之示例说明
不以物喜的博客
09-20 465
0 说明 本次EFK分布式日志收集系统节点安排如下： 主机名 主机ip 部署情况 chen-1 192.168.218.100 Elasticsearsh Logstash Filebeat Namenode ResourceManager ZK chen-2 192.168.218.101 Elasticsearsh SecondaryNamenode Datanode Nodemanager ZK chen-3 192.168.218.102 Elasticsearsh Da
Kubernetes-基于EFK进行统一的日志管理原理(kibana查询语法)
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
11-01 4708
EFK安装部署参考:https://blog.csdn.net/luanpeng825485697/article/details/83312662 1、统一日志管理的整体方案 通过应用和系统日志可以了解Kubernetes集群内所发生的事情，对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说，都会具有某种日志机制。因此，大多数容器引擎同样被设计成支持某种日志机制。对于容器化应用程序...
一步到位：通过 Docker Compose 部署 EFK 进行 Docker 日志采集
srebro.cn | 运维小弟
09-14 1927
一个开源的分布式搜索和分析引擎，用于存储和查询日志数据。它是 EFK 的核心组件，负责高效地存储和检索日志信息。：一个轻量级的日志采集器，主要用于将日志文件数据发送到 Logstash 或 Elasticsearch。Filebeat 设计用于高效地转发和处理日志数据，具有低内存消耗和可靠的传输能力。：一个开源的数据可视化平台，与 Elasticsearch 配合使用，用于创建图表、仪表板和报告，以便对日志数据进行分析和展示。
使用kargo工具部署具备EFK日志和Prometheus监控的Kubernetes集群
资源摘要信息:"kubernetes-kargo-logging-monitoring：使用kargo部署kubernetes集群" 知识点： 1. Kubernetes (k8s) 集群部署：Kargo 是一种部署 Kubernetes 集群的工具，它提供了一种灵活且强大的方式来构建、热...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jiangxl~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值