Kafka
关注
分享
扫一扫
文章平均质量分 91
菜菜的大数据开发之路
Java技术栈 AND 大数据开发，学习笔记, 拒绝水文
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka面试重点_1. Kafka为什么这么快(或Kafka为什么有这个高的吞吐量)?
本文参考：http://searene.me/2017/07/09/Why-is-Kafka-so-fast/ https://queue.acm.org/detail.cfm?id=1563874 Kafk...转载 2022-04-18 15:44:37 · 164 阅读 · 1 评论 -
六, Kafka与Flume对接
文章目录Kafka 对接 Flume一, Flume作为生产者1. 启动Kafka集群2. 启动Kafka消费者3. 设置Flume配置文件4. 启动Flume5. Flume采集数据, Kafka消费数据情况二, Flume作为消费者1. 配置Flume2. 启动Flume3. 启动Kafka生产者4. 测试Kafka 对接 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者，也可以用于Flume 的消费者。一, Flume作为生产者1. 启动Kafk原创 2022-04-01 23:42:52 · 2151 阅读 · 1 评论 -
四, Kafka 消费者知识点总结
文章目录四, Kafka消费者5.1 消费方式(Pull)5.2 消费者的工作流程(待补充)5.3 消费者API5.3.1 消费者组原理5.3.2 消费者组初始化流程(待补充)5.3.3 消费者详细消费流程(待补充)5.3.4 消费者重要参数2.4.2 消费者分区分配策略(重要)1. RangeAssignor 配置策略====>(将主题分区按照跨度平均分配给订阅了这些主题的消费者, 跨度=消费者总数/分区总数)2. RoundRobinAssignor 配置策略====>(所有主题的所有分区,原创 2022-04-16 23:29:08 · 1895 阅读 · 0 评论 -
三-下, Kafka API dbc
三, Kafka API3.1 Producer API3.1.1 消息发送流程Kafka 的 Producer 发送消息采用的异步发送的方式.在消息发送的过程中, 涉及到了两个线程(main线程和Sender线程), 以及一个双端队列(线程共享变量--RecordAccumulator),main线程将消息发送给RecordAccumlator, Sender线程不断从RecordAccumulator 中拉取消息到Kafka Broker;main线程-------传送给-------&g原创 2022-04-16 23:35:31 · 1136 阅读 · 0 评论 -
三, Kafka Broker
文章目录三, Kafka Broker3.1 Kafka Broker 工作流程1. Zookeeper 中存储的Kafka信息2. Kafka Broker 总体工作流程2.1 Broker 重要参数3. 生产经验--节点服役(新增Broker)和退役3.1 服役新节点3.2 退役旧结点4. Kafka副本4.1 副本的信息4.2 Leader的选举流程4.3 副本同步策略(见消费者剖析一文)5. 文件存储5.1 Kafka 文件存储机制6. Kafka为什么这么快?(或是Kafka为什么有这么高的吞吐量原创 2022-04-16 23:25:53 · 2143 阅读 · 0 评论 -
二-1, zookeeper在kafka集群中的作用
简单来说就是一句话. zk在kafka集群中主要是用来管理broker和consumer, 因为他们在zk上都真实的存了具体数据; 而Producer端直接连接broker，不在zk上存任何数据，只注册监听，监听broker和topic信息。A: zk管理kafk集群的brokers, 主要是做了以下工作:broker的注册zk记录了kafka集群所有brokers的存活状态(在/brokers/ids 维护),broker会向zk发送心跳请求来上报自己的状态.控制器选举..原创 2021-11-04 09:35:59 · 601 阅读 · 0 评论 -
二, Kafka 生产者知识点总结
文章目录2.1 Kafka 工作流程(待完善)2.2 Kafka 文件存储机制2.3 Kafka 生产者2.3.1 生产者对topic分区的原因2.3.2 生产者消息分区策略2.3.3 生产经验--生产者如何提高`数据吞吐量`2.3.3 生产经验--`数据可靠性`保证1. follower与leader数据同步的策略(副本同步策略)2.3.3.1 ISR(in-sync replica set)-->与leader保持同步的follower集合2. ack应答机制2.3.6 生产经验--`数据的去重`原创 2022-04-16 23:18:42 · 930 阅读 · 0 评论 -
一, Kafka 概述, 安装, 快速入门
一, KafKa 概述1. 定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(MQ-Message Queue), 主要应用于大数据实时处理领域.二, Kafka 快速上手2.1 Kafka 基础架构Kafka 常用术语(摘抄, 点击查看全文)Topic, 是kafka下消息的类别, 逻辑概念, 用来区分,隔离不同的消息数据, 屏蔽底层复杂的存储方式,对于大多数人来说, 只需要关注数据写入到了那个topic, 从哪个topic取出数据.Partition, 是Kafka下数原创 2021-10-31 17:23:42 · 1435 阅读 · 0 评论 -
零, 消息队列的两种模式和应用场景, 以及Kafka 消息队列的特点
零, 消息队列自问自答环节:[0.什么是消息队列(MQ) ?]消息队列从实质上来说就是一个包含了消息发送接收对象, 存放消息队列的结构, 可归结为: 一发一存一消费,.综上来看, 消息队列就是: 生产者将消息投递到一个叫队列的容器中, 然后再从这个容器中取出消息, 最后转发给消费者.消息队列MQ 最常用的模式有两种, 点对点模式 和 发布/订阅模式.[1. 什么是点对点模式?]就是前面提到的最原始的消息队列,生产者把消息存储到队列中, 消费者从队列中取出消息, 如果存在多个原创 2021-10-29 16:54:37 · 656 阅读 · 0 评论