- 博客(221)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka运维实战 17 - kafka 分区副本从 1 增加到 3【实战】
创建，格式如下（以},},},},},配置说明replicas数组中，第一个元素为原副本（保持 leader 不变，减少迁移开销），后两个为新增副本的 broker ID。确保新增的 broker（如 1、2、3）均正常运行，且集群总 broker 数量 ≥ 3（否则无法分配 3 个副本）。log_dirs 用于指定每个副本存放的日志目录，默认用 “any” 表示由 Kafka 自动分配。
2025-07-29 15:41:01
136
原创 Kafka运维实战 16 - kafka 分区重新分配【实战】
-bootstrap-server <bootstrap-server-list> # KRaft 控制器或 broker 的地址（必填）--broker-list <String: brokerlist> # "0,1,2" （与--topics-to-move-json-file 配合）[--command-config <config-file>] # 客户端配置文件（如认证信息）[--reassignment-json-file <file>] # 包含分区重分配计划的 JSON 文件。
2025-07-29 15:08:34
495
原创 Kafka运维实战 07 - kafka 三节点集群部署(混合模式)(KRaft 版本3.7.0)
在关键的部署环境中，不建议使用组合模式。Kafka KRaft 版本（即 Kafka 3.0 及更高版本）使用 KRaft 模式（Kafka Raft 协议）替代 ZooKeeper 进行集群管理，简化了部署流程。Kafka 是用 Scala 和 Java 开发的，因此需要特定版本的 Scala 编译。版本号中的 2.13 表示该 Kafka 版本是用 Scala 2.13.x 编译的。不覆盖修改，则启动的JVM参数采用bin/kafka-server-start.sh 默认。前台启动（方便调试）
2025-07-25 16:17:09
1130
原创 Kafka运维实战 15 - kafka 重设消费者组位移入门和实战【实战】
传统消息中间件，它们处理和响应消息的方式是破坏性的（destructive），即一旦消息被成功处理，就会被从 Broker 上删除。反观 Kafka，由于它是基于日志结构（log-based）的消息引擎，消费者在消费消息时，仅仅是从磁盘文件上读取数据而已，是只读的操作，因此消费者不会删除消息数据。同时，由于位移数据是由消费者控制的，因此它能够很容易地修改位移的值，实现重复消费历史数据的功能。
2025-07-25 14:25:24
1190
原创 Kafka运维实战 14 - kafka消费者组消费进度（Lag）深入理解【实战】
在消息队列系统（如 Kafka）中，消费者 Lag（也称为 “滞后量”）是衡量消费者（或消费者组）处理消息进度的核心指标，它表示尚未被消费的消息数量。具体来说，Lag 的计算方式是：Lag = 分区当前最大偏移量（Max Offset） - 消费者已提交的偏移量（Committed Offset）最大偏移量（Max Offset）：分区中最新一条消息的位置（即已经生产的消息总量标识）。
2025-07-24 13:19:40
846
原创 Kafka运维实战 05 - kafka 消费者组和重平衡（Rebalance）
消费者组是指共同订阅同一个主题（Topic） 的多个消费者的集合。每个消费者组都有一个唯一的标识（Group ID），组内的消费者通过协作分工，共同消费主题中的消息。组内消费者共享消费进度，由消息队列的协调器（Coordinator） 统一管理。主题中的每个分区（Partition） 只能被同一消费者组内的一个消费者消费（避免重复消费）。消费者组之间相互独立，不同组可以同时消费同一主题的消息（实现多场景消费）。理想情况下，Consumer 实例的数量应该等于该 Group 订阅主题的分区总数。
2025-07-23 17:38:02
1107
原创 Kafka运维实战 13 - kafka 动态调整Broker, Topic的配置【实战】
kafka-configs.sh 是 Kafka 提供的一个命令行工具，用于管理 Kafka broker、主题 (topic)、消费者组 (consumer group) 等资源的配置。
2025-07-23 15:05:39
865
原创 Kafka运维实战 12 - kafka主题管理详解【实战】
删除操作是异步的，执行完这条命令不代表主题立即就被删除了。它仅仅是被标记成“已删除”状态而已。Kafka 会在后台默默地开启主题删除操作。在 Kafka 中，复制因子不能大于可用的 broker 数量，因为每个副本需要存储在不同的 broker 上以保证高可用性。工具用于管理主题（topics），包括创建、查看、修改和删除等操作。在 Kafka 的 KRaft 模式（无 ZooKeeper）中，注意：在 KRaft 模式下，不再使用。注意：删除主题需要 broker 配置。
2025-07-22 18:04:02
988
原创 Kafka运维实战 11 - kafka查看消息的具体内容【实战】
这些文件共同协作，使得 Kafka 能够高效地进行消息的存储、查询和消费，满足高吞吐量、低延迟的消息传递需求。每个分区的这些文件通常存放在同一个目录下，目录以“主题名-分区号”命名。通过上述方法，可以清晰地查看 Kafka 日志文件的内容和结构，帮助排查消息存储相关的问题。我们有时候遇到这样的需求，需要查看下kafka消息的内容。Kafka 按「主题-分区」划分目录，例如。类的封装），可更友好地解析日志文件。配置的目录下（默认路径通常为。Kafka 的日志文件（进入具体分区的日志目录。
2025-07-22 13:03:07
838
原创 Kafka运维实战 10 -kafka 生产和消费 性能测试工具【实战】
是 Kafka 提供的官方生产者性能测试工具，用于评估向 Kafka 主题发送消息的性能表现。它可以帮助你测试生产者吞吐量、延迟等关键指标，优化生产者配置或评估集群写入能力。是 Kafka 提供的一个性能测试工具，用于评估消费者的性能表现。它可以帮助你测试消费者从 Kafka 主题读取消息的吞吐量、延迟等关键指标。
2025-07-21 17:53:23
772
原创 Kafka运维实战 09 - kafka 生产消息和消费消息用法【实战】
是 Kafka 提供的一个命令行工具，用于向 Kafka 主题发送消息（即生产消息）。它允许你在终端中手动输入消息，或从文件、其他命令的输出中读取消息并发送到 Kafka。以下是使用 的基本命令格式：常用参数说明: 指定 Kafka broker 的地址（例如 ），用于建立初始连接。: 指定要发送消息的主题名称。: 设置额外的生产者配置，例如：: 启用键值对模式（需要配合 使用）。: 指定键和值之间的分隔符（默认为制表符 ）。: 指定生产者配置文件的路径。 用于控制生产者发送消
2025-07-21 16:44:02
822
原创 Kafka运维实战 08 - kafka 3.7脚本工具最全整理汇总【建议收藏】
Kafka 脚本工具是 Apache Kafka 提供的一系列命令行工具，用于管理、监控和操作 Kafka 集群。这些工具位于 Kafka 安装目录的 bin 目录下（Windows 系统为 .bat 文件，Linux/Mac 为 .sh 文件）。以下是一些核心脚本工具的详细介绍kafka-broker-api-versions.sh 是 Kafka 自带的一个重要脚本工具，用于查询 Kafka Broker 支持的 API 版本信息。
2025-07-18 15:40:32
1225
原创 Kafka运维实战 06 - kafka 单机部署指南(混合模式)(KRaft 版本3.7.0)
Kafka KRaft 版本（即 Kafka 3.0 及更高版本）使用 KRaft 模式（Kafka Raft 协议）替代 ZooKeeper 进行集群管理，简化了部署流程。Kafka 是用 Scala 和 Java 开发的，因此需要特定版本的 Scala 编译。版本号中的 2.13 表示该 Kafka 版本是用 Scala 2.13.x 编译的。不覆盖修改，则启动的JVM参数采用bin/kafka-server-start.sh 默认。这里展示了历史的kafka各个版本。前台启动（方便调试）
2025-07-18 12:36:15
779
原创 Kafka运维实战 04 - Kafka 控制器（Controller）详解：架构、原理与实战
右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。本文将深入解析控制器的工作原理、配置要点及运维实践，帮助你全面掌握这一关键组件。左图为 Kafka 架构，元数据在 zookeeper 中，运行时动态选举 controller，由 controller 进行 Kafka 集群管理。
2025-07-17 15:15:08
1101
2
原创 Kafka运维实战 03 - Kafka 配置参数详解：ZooKeeper 模式与 KRaft 模式对比
ZooKeeper 模式是 Kafka 传统架构，依赖 ZooKeeper 集群管理元数据（如 Topic 信息、分区副本分配、broker 存活状态等）。broker 启动时向 ZooKeeper 注册自身信息；broker 通过 ZooKeeper 监听集群变化（如其他 broker 加入/退出）；控制器（Controller）节点从 ZooKeeper 获取元数据并同步给其他 broker。
2025-07-17 13:04:20
747
原创 nerdctl - 兼容 Docker 语法 的 containerd 命令行界面
Nerdctl 是一个专为 containerd 环境设计的容器运行时工具，它与 Docker 语法兼容，提供了类似的命令行接口，但专注于更高效的容器管理。nerdctl 是 containerd 的一个非核心子项目。
2025-07-16 14:12:51
611
原创 Kafka运维实战 02 - 深入理解 Kafka主题、分区与副本的协同机制
Kafka 的 ** 主题（Topic）、分区（Partition）和副本（Replica）** 是构建分布式消息系统的核心概念，三者协同工作实现高吞吐量、水平扩展和数据冗余。以下从定义、关系、工作机制和配置等方面进行详解
2025-07-16 13:02:08
1174
原创 【监控实战】Grafana自动登录如何实现
原理是在Nginx 自动添加 Authorization Header 携带认证密码。代理grafana, 自动登录 test 只读用户。
2025-07-15 11:29:29
314
原创 第十五节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入门 - vue前端 生产部署
本节进入部署环节，一般我们的项目分三部分，包括面向普通用户的首页客户端，这里是PC客户端，也可以是小程序，APP等。PC 管理后台前端Python 后端程序下图是我们的部署效果项目访问备注首页前端vue3 pc 端 自建代码管理前端/adminpython 后端/apiflask 程序。
2025-07-14 22:25:26
895
原创 【网络】Linux 内核优化实战 - net.netfilter.nf_conntrack_tcp_timeout_established
参数作用：控制已建立 TCP 连接在 conntrack 表中的最大空闲时间。调优原则根据应用特性设置合理超时（通常 30 分钟到 8 小时）确保与应用层超时参数匹配高并发场景下优先缩短超时以释放资源监控建议：# 查看当前 ESTABLISHED 连接数量conntrack -L -s <源IP> | grep ESTABLISHED | wc -l# 监控 conntrack 内存使用合理配置是优化网络性能和资源利用率的重要步骤。
2025-07-11 13:14:01
775
原创 【网络】Linux 内核优化实战 - net.netfilter.nf_conntrack_buckets
参数作用：控制连接跟踪哈希表的大小，影响查找效率和内存使用。调优原则保持buckets与的合理比例（1:4 到 1:2）高并发场景下增加比例以提升性能通过监控哈希表负载监控重点：关注哈希表的负载因子和冲突次数，避免性能瓶颈。合理配置是优化高并发网络环境的重要步骤。
2025-07-11 13:10:02
427
原创 【网络】Linux 内核优化实战 - net.netfilter.nf_conntrack_max
参数作用：控制连接跟踪表的最大条目数，直接影响防火墙和 NAT 的并发处理能力。调优原则根据并发连接数和内存容量合理设置保持使用率 < 80%，避免表满导致丢包结合超时参数优化内存使用监控重点：通过实时监控使用率。合理配置是保障高并发网络环境稳定运行的关键步骤。
2025-07-11 13:06:45
610
原创 【网络】Linux 内核优化实战 - net.core.default_qdisc
默认选择：推荐使用fq_codel，它能自动优化大多数网络场景的延迟和公平性。特殊需求：根据具体网络环境（如企业限速、多队列网卡）选择其他 qdisc。监控优化：定期检查网络性能，必要时调整配置。
2025-07-11 12:52:55
431
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_congestion_control
首选 BBR：在大多数场景下，BBR 提供最佳的延迟和吞吐量平衡DCTCP 专用：仅在数据中心内部且网络设备支持 ECN 时使用传统网络：若 BBR 不适用，默认 Cubic 是安全选择合理配置拥塞控制算法可显著提升网络性能，建议根据实际网络环境进行测试和选择。
2025-07-11 12:50:10
1064
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_keepalive_intvl
可以在快速发现失效连接和减少系统开销之间取得平衡，尤其适合需要长时间维持大量连接的服务器应用（如 Web 服务器、数据库连接池）。TCP Keep-Alive 是一种检测长时间空闲连接是否仍然有效的机制。当连接处于空闲状态超过。是 Linux 内核中的一个 TCP 参数，用于控制。，但在不同场景下可能需要调整。总探测时间 = 3×15 =总探测时间 = 5×60 =，适合快速发现失效连接。，平衡开销与检测速度。
2025-07-10 12:56:52
858
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_keepalive_probes
可以在快速发现失效连接和避免误判之间取得平衡，尤其适合需要长时间维持大量连接的服务器应用（如 Web 服务器、数据库连接池）。TCP Keep-Alive 是一种检测长时间空闲连接是否仍然有效的机制。如果连续发送这么多次探测包后仍未收到响应，内核会认为连接已断开，并关闭该连接。是 Linux 内核中的一个 TCP 参数，用于控制。总超时时间 = 1800 + (5×60) =总超时时间 = 300 + (3×15) =（默认 2 小时）后，TCP 会每隔。（默认 75 秒）发送一个保活探测包。
2025-07-10 12:54:17
592
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_keepalive_time
TCP Keep-Alive 是一种检测长时间空闲连接是否仍然有效的机制。当连接处于空闲状态（双方没有数据传输）超过。
2025-07-10 12:50:06
461
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_fin_timeout
如果在此时间内未收到被动关闭方的 FIN 包，连接将被强制关闭，释放系统资源。，可以平衡系统资源利用率和连接稳定性，尤其在处理海量连接的服务器上效果显著。是 Linux 内核中的一个 TCP 参数，用于控制。是主动关闭方在等待被动关闭方关闭连接的中间状态。，但在某些场景下可能需要调整。
2025-07-10 12:38:00
653
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_max_orphans
在 TCP 通信中，“孤立连接”指的是已关闭或即将关闭，但仍占用系统资源的连接。半关闭连接：一方调用close()关闭写端，但仍可接收数据（如 HTTP 长连接的 keep-alive 状态）。等待超时的连接：处于TIME_WAITFIN_WAIT_1FIN_WAIT_2等状态的连接，等待超时后才能完全释放。应用程序异常退出：未正确关闭的连接（如进程崩溃）。
2025-07-10 12:33:17
474
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_moderate_rcvbuf
在 TCP 通信中，接收缓冲区用于临时存储从网络接收的数据，直到应用程序读取。如果过大，则可能浪费系统内存资源。是 Linux 内核中的一个 TCP 参数，用于控制接收缓冲区（Receive Buffer）的自动调整策略。这种机制特别适合处理大量并发连接的服务器（如 Web 服务器、负载均衡器），可以避免为每个连接预分配大量内存。当启用时，系统会根据连接的实际需求动态调整接收缓冲区大小，以平衡性能和内存使用。该参数是布尔值（0 或 1），默认值通常为。建议根据实际负载和内存资源进行测试后调整。
2025-07-10 12:28:27
784
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_no_metrics_save
默认启用缓存（0）：适合大多数场景，尤其是稳定网络中的短连接应用，可显著减少连接建立延迟；禁用缓存（1）：适合网络变化频繁或安全性要求高的场景，确保连接初始化的保守性。实际部署时，需根据业务特性和网络环境权衡选择。例如，面向用户的Web服务通常保持默认，而移动客户端可考虑禁用缓存。
2025-07-09 12:49:51
783
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_slow_start_after_idle
是平衡TCP连接稳定性与恢复速度默认启用（1）：适合大多数网络环境，尤其是不稳定网络，可避免拥塞；禁用（0）：适合稳定网络或对延迟敏感的应用，可减少空闲后的恢复时间。在实际部署中，需根据网络特性和应用需求权衡选择。例如，数据中心内部可禁用，而面向公共网络的服务建议保持默认。
2025-07-09 12:45:18
911
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_dsack
是优化TCP拥塞控制的重要参数，默认启用（值为1）。通过让接收方明确告知发送方“哪些数据包已重复接收”，DSACK能帮助发送方区分真丢包和乱序，避免不必要的重传和拥塞窗口收缩，提升网络传输效率。在绝大多数情况下，保持默认启用（1）是最优选择；仅在极特殊的兼容或调试场景下，才考虑临时禁用（0）。
2025-07-09 12:39:01
1003
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_fack
是优化TCP拥塞控制的重要参数，默认启用（值为1）。通过结合SACK信息，FACK能更精确地识别丢包范围，优化重传策略，提升高丢包或高延迟网络中的传输效率。在绝大多数情况下，保持默认启用（1）是最优选择；仅在极特殊的兼容或调试场景下，才考虑临时禁用（0）。
2025-07-09 12:36:32
822
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_sack
是控制TCP SACK功能的核心参数，默认启用（值为1）。SACK通过让接收方明确告知发送方“已接收的非连续数据块”，避免了传统TCP的“盲目重传”，显著提升了丢包场景下的传输效率。在绝大多数情况下，保持默认启用（1）是最优选择；仅在极特殊的兼容或调试场景下，才考虑临时禁用（0）。
2025-07-09 12:32:11
847
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_ecn_fallback
是ECN功能的“兼容性保障开关”，默认启用（值为1）。它确保当ECN因网络环境不支持而失效时，TCP连接能自动降级为传统模式，避免连接中断。在大多数场景下，建议保持默认值1；仅在确认网络中所有设备均支持ECN时，可考虑设为0（但实际意义不大，反而可能降低兼容性）。
2025-07-09 12:27:36
611
原创 【网络】Linux 内核优化实战 - net.ipv4.tcp_ecn
是控制TCP协议是否使用ECN机制的关键参数，通过合理设置（如在兼容网络中设为1），可优化拥塞处理、降低延迟；若遇到兼容性问题，禁用（设为0）即可恢复传统的丢包拥塞控制方式。实际使用中需结合网络环境测试，选择最适合的配置。
2025-07-09 12:24:22
440
原创 【网络】Linux 内核优化实战 - net.ipv4.ip_forward
简单来说，它决定了Linux主机是否能像路由器一样，将接收到的数据包从一个网络接口转发到另一个网络接口。，可以灵活配置Linux主机的网络角色，从单纯的终端设备转变为具备转发能力的网络节点。是一个关键的内核参数，用于控制。在Linux系统中，
2025-07-09 12:20:59
488
原创 第十四节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入门 - Flask 后端 生产部署讲解
💻 基础篇✅✅✅✅✅✅✅✅✅✅✅✅✅🏆 专栏链接。
2025-07-08 17:32:10
810
第二节：Vben Admin v5 (vben5) Python-Flask 后端开发详解(附源码)
2025-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人