第 6 章 Kafka-Eagle 监控 和 Kafka-Kraft 模式

Kafka-Eagle监控 Kafka-Eagle框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。 在此之前监控工具需要MySQL作为持久化手段。 一、Kafka环境准备 1、关闭 Kafka 集群 # 停止集群 kf.sh stop 2、修改/opt/module/kafka/bin/kafka-server-start.sh vim bin/kafka-server-start.sh 修改如下参数值： if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端通过ls命令列出kafka节点内容2、zookeeper中存储的kafka信息在zookeeper的服务端存储的Kafka相关信息：1）/kafka/brokers/ids [0,1,2] 记录有哪些服务器2）/kafka/brokers/topics/first/partitions/0/state {“leader”.1,“isr”:[1,0,2]} 记录谁是leader，有哪些服务器可用。

listeners 这个是配置你的kafka在本机中的端口而前面的PLAINTEXT是一种通信方式有加密的但是我是作为练习就没有设置，那么为什么一个是controller呢？advertised.listeners 这个是对外暴露的端口一般与broker端口一致，对外暴露就是比如我们可视化连接集群，springboot集成kafka的时候就是写这个端口。这个生成的uuid是用于格式化kafka的，网上有[[:uuid]]这个命令就是生成带-的那种命令是不适用于格式化kafka的因为格式问题。

KafkaEagle监控系统是一款用来监控Kafka集群的工具，目前更新的版本是v1.2.3，支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。官方安装包下载：http://download.kafka-eagle.org/ 个人使用版本为1.4.4最新下载好之后指定目录解压压缩包，接下来开始环境变量得配置。由于源代码核心实现采用的是Java语言，所以需要配置JDK环境，建议采用JDK8以上。配置内容如下：增加变

1.kafka-eagle-bin-1.2.4.tar.gz 安装包下载，官网 或者在我百度网盘中下载。点击下载 2.我们直接按照步骤详细说明下安装步骤，JDK一定要安装必须知道JDK的安装路径 21.安装包拷贝至服务器解压安装包 tar -zxf kafka-eagle-bin-1.2.4.tar.gz 2.2设置全局变量，设置JDK的全局变量JAVA_HOME和本应用的KE_HOME...

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

Kafka Eagle是一款开源的、高度可定制的监控和告警工具，专门为Apache Kafka设计。它为Kafka集群提供了丰富的实时监控和管理功能，以确保高可用性、性能和数据完整性。Kafka Eagle的核心目标是帮助用户更好地理解和优化他们的Kafka环境，减少潜在问题的风险。

支持kafka3.3.1的kafka可视化客户端，并且可以连接带认证的kafka集群

早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着监控的功能要求、性能要求的提高，这些工具已经无法满足。Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

一、背景 Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作的管理界面，便于管理员对kafka集群进行运维管理。 Kafka Eagle提供了KSQL操作的可视化界面，让你可以非常快速的查看kafka中的消息。 K

kafka3移出ZK理想情况下，Consumer实例的数==该 Group 订阅Topic的分区总数。 位移 消费者在消费的过程中需要记录自己消费了多少数据（位移） 组成员数发生变更。比如有新的 Consumer 实例加入组或者离开组，抑或是有 Consumer 实例崩溃被“踢出”组。 订阅主题数发生变更。Consumer Group 可以使用正则表达式的方式订阅主题，比如 consumer.subscribe(Pattern.compile(“t.*c”)) 就表明该 Group 订阅所有以字母 t 开

Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。在生产过程中，想创建topic、查看所有topic、想查看某个topic 想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？

Kafka图形管理界面Kafka-eagle安装配置详解

Kafka-Eagle部署与使用

传统的Kafka集群，会将每个节点的状态信息统一保存在Zookeeper中，并通过Zookeeper动态选举产生一个Controller节点，通过Controller节点来管理Kafka集群，比如触发Partition的选举。后续，如果需要对接更多的Source和Sink，或者进行更大规模甚至集群化的数据计算，那就需要其他更大型的流式计算框架来处理了。这都是典型的批量计算。Raft协议是目前进行去中心化集群管理的一种常见算法，类似于之前的Paxos协议，是一种基于多数同意，从而产生集群共识的分布式算法。

kafka eagle安装 整体如下 3. 配置kafka eagle的配置文件☆

本文主要介绍Apache原版和CDH版Kafka安装kafka eagle的相关配置 简介 kafka eagle（kafka鹰） 是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。 官网地址 https://www.kafka-eagle.org/ github地址:https://github.com/smart.