本文详细介绍了Apache Kafka，从安装配置到生产者、消费者的使用，再到Broker的工作原理和调优，涵盖Kafka的分区策略、数据可靠性、幂等性、事务性及顺序性。此外，还探讨了Kafka的集群管理和监控，以及与Flume、Flink、SpringBoot和Spark的集成。文章深入浅出地讲解了Kafka的各个方面，是学习和掌握Kafka的全面指南。
目录
前言
关于java其他方面的知识点可看我之前的文章：
java框架零基础从入门到精通的学习路线（超全）
以下内容的学习主要来源于：
【尚硅谷】2022版Kafka3.x教程（从入门到调优，深入全面）
1. 入门kafka
应用场景举例：
前端浏览了网站，记录了数据（点赞、评论量等）变成日志，发送到日志服务器，日志服务器（通过Flume时刻监控服务器，只要一有数据变化）上传到Hadoop。
Flume（上传速度为100m/s左右）和Hadoop（采集速度小于100m/s，而且高峰期可能大于200m/s）两者的传输速率不同。可以增加一个kafka的中间件，将其大量的数据都放在kafka，之后将其数据与后面的Hadoop数据的速率保持一致即可
定义：
Kafka传统定义：分布式、基于发布/订阅（发布的消息分为不同类别，订阅者只接受感兴趣的消息，订阅者订阅的速度通过自身决定）的消息队列，主要用于大数据实时处理领域。
最新的定义：开源的分布式事件流平台、数据通道、流分析
订阅专栏 解锁全文
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
