转载 ---kafka集群消费之ConsumerRecord类

最新推荐文章于 2025-06-15 16:19:47 发布
最新推荐文章于 2025-06-15 16:19:47 发布
阅读量1.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： kafka 文章标签： kafka java
原文链接：https://blog.csdn.net/qq_37191690/article/details/88873280
本文深入解析了Kafka中ConsumerRecord类的结构与功能，包括其继承关系、字段、构造函数及方法摘要，阐述了如何从特定主题和分区接收记录，并提供了关于校验和、时间戳、序列化大小等关键信息的获取方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


  • public final class ConsumerRecord <K，V> 
extends Object
    从Kafka收到的键/值对。这包括主题名称和分区号，从中接收记录以及指向Kafka分区中记录的偏移量。

    • 构造函数摘要

      构造函数  
      构造函数和描述
      ConsumerRecord(String topic, int partition, long offset, K key, V value)
      创建从指定主题和分区接收的记录（在消息格式支持的时间戳之前和公开序列化元数据之前提供与Kafka 0.9的兼容性）。
      ConsumerRecord(String topic, int partition, long offset, long timestamp, org.apache.kafka.common.record.TimestampType timestampType, long checksum, int serializedKeySize, int serializedValueSize, K key, V value)
      创建从指定主题和分区接收的记录

    • 现场细节

      • NO_TIMESTAMP
        public static final long NO_TIMESTAMP
        也可以看看：
        常数字段值
      • NULL_SIZE
        public static final int NULL_SIZE
        也可以看看：
        常数字段值
      • NULL_CHECKSUM
        public static final int NULL_CHECKSUM
        也可以看看：
        常数字段值

    • 构造函数详细信息

      • ConsumerRecord
        public ConsumerRecord（String  topic，
              int分区，
              长偏移，
              K  键，
               V  值）
        创建从指定主题和分区接收的记录（在消息格式支持的时间戳之前和公开序列化元数据之前提供与Kafka 0.9的兼容性）。
        参数：
        topic - 收到此记录的主题
        partition - 收到此记录的主题分区
        offset - 此记录在相应Kafka分区中的偏移量
        key - 记录的密钥（如果存在）（允许为null）
        value - 记录内容
      • ConsumerRecord
        public ConsumerRecord（String  topic，
              int分区，
              长偏移，
              很长的时间戳，
              org.apache.kafka.common.record.TimestampType timestampType，
              长校验和，
              int serializedKeySize，
              int serializedValueSize，
              K  键，
               V  值）
        创建从指定主题和分区接收的记录
        参数：
        topic - 收到此记录的主题
        partition - 收到此记录的主题分区
        offset - 此记录在相应Kafka分区中的偏移量
        timestamp - 记录的时间戳。
        timestampType - 时间戳类型
        checksum - 完整记录的校验和（CRC32）
        serializedKeySize - 序列化密钥的长度
        serializedValueSize - 序列化值的长度
        key - 记录的密钥（如果存在）（允许为null）
        value - 记录内容

    • 方法细节

      • 话题
        public  String  topic（）
        收到此记录的主题
      • 划分
        public int partition（）
        从中接收此记录的分区
      • 键
        公钥  K  键（）
        密钥（如果未指定密钥，则为null）
      • 值
        公共  V  值（）
        价值
      • 抵消
        公共长偏移量（）
        此记录在相应Kafka分区中的位置。
      • 时间戳
        公共长时间戳（）
        此记录的时间戳
      • timestampType
        public org.apache.kafka.common.record.TimestampType timestampType（）
        此记录的时间戳类型
      • 校验
        公共长校验和（）
        记录的校验和（CRC32）。
      • serializedKeySize
        public int serializedKeySize（）
        序列化未压缩密钥的大小（以字节为单位）。如果key为null，则返回的大小为-1。
      • serializedValueSize
        public int serializedValueSize（）
        序列化未压缩值的大小（以字节为单位）。如果value为null，则返回的大小为-1。 
                                </div><div><div></div></div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet">
                                            <div class="more-toolbox">
            <div class="left-toolbox">
                <ul class="toolbox-list">
                    
                    <li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#csdnc-thumbsup"></use>
                    </svg><span class="name">点赞</span>
                    <span class="count"></span>
                    </a></li>
                    <li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;popu_824&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-Collection-G"></use>
                    </svg><span class="name">收藏</span></a></li>
                    <li class="tool-item tool-active is-share"><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;1582594662_002&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-fenxiang"></use>
                    </svg>分享</a></li>
                    <!--打赏开始-->
                                            <!--打赏结束-->
                                            <li class="tool-item tool-more">
                        <a>
                        <svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
                        </a>
                        <ul class="more-box">
                            <li class="item"><a class="article-report">文章举报</a></li>
                        </ul>
                    </li>
                                        </ul>
            </div>
                        </div>
        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/qq_37191690">
                <img src="https://profile.csdnimg.cn/6/2/D/3_qq_37191690" class="avatar_pic" username="qq_37191690">
                                        <img src="https://g.csdnimg.cn/static/user-reg-year/1x/3.png" class="user-years">
                                </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit"><a href="https://blog.csdn.net/qq_37191690" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}" target="_blank">一个小小bug</a></span>
                                        </div>
                <div class="text"><span>发布了3 篇原创文章</span> · <span>获赞 6</span> · <span>访问量 1万+</span></div>
            </div>
                            <div class="right-message">
                                        <a href="https://im.csdn.net/im/main.html?userName=qq_37191690" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
                    </a>
                                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}">关注</a>
                                </div>
                        </div>
                </div>
【kafka】kafka 查看 GroupCoordinator 以及 kafka Group dead 消费组死掉 以及 GroupCoordinatorRequest 使用
九师兄
10-21 1341
kafka通过java api 获取当前消费组offset/logsize/lag信息，实现消费延迟监控我看到了，客户端可以发送 OffsetFetchResponse 请求。然后追踪这个代码的时候发现构建BlockingChannel的时候，其实是一个SocketChannel.然后实际生产中，我经常遇到消费组死掉。然后消费组死掉的话，经常有以下几个问题。【kafka】消费组 死掉 kafka Marking the coordinator dead for group。
【kafka】kafka 如何 删除 清除 消费组 信息
九师兄
10-30 2828
位移提交是使用消费者客户端过程中一个比较“讲究”的操作，位移提交的内容最终会保存到Kafka的内部主题中，对于主题的深度掌握也可以让我们更好地理解和使用好位移提交。一般情况下，当集群中第一次有消费者消费消息时会自动创建主题,不过它的副本因子还受参数的约束，这个参数的默认值为3 (下载安装的包中此值可能为1)，分区数可以通过参数设置，默认为50。客户端提交消费位移是使用OffsetCommitRequest 请求实现的，的结构如图.请求体第- -层中的。
【Kafka】消费者Consumer详解
qq_43745578的博客
01-25 3129
一文吃透kafka消费者特性
Kafka系列（四）Kafka消费者：从Kafka中读取数据
热门推荐
u012501054的博客
05-08 4万+
本系列文章为对《Kafka：The Definitive Guide》的学习整理，希望能够帮助到大家应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。Kafka消费者相关的概念消费者与消费组假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例去做这件事...
深入理解Kafka Consumer：从理论到实战
最新发布
m0_71836706的博客
06-15 879
从拉取模型与推模型的对比，到 Consumer Group 机制中的 Rebalance 流程和 Offset 管理，再到新旧消费 API 的差异，以及在实时日志解析服务中的实战应用，每一个环节都揭示了 Kafka 在消息处理领域的强大能力和灵活性。​Consumer Group 机制通过 Rebalance 实现了动态的负载均衡和故障恢复，Offset 管理确保了消费进度的可靠记录。
kafka集群消费之ConsumerRecord类
qq_37191690的博客
03-28 1万+
java.lang.Object继承 org.apache.kafka.clients.consumer.ConsumerRecord <K，V> public final class ConsumerRecord <K，V> extends Object 从Kafka收到的键/值对。这包括主题名称和分区号，从中接收记录以及指向Kafka分区中记录...
Kafka-ConsumerRecord
qq_74763440的博客
03-19 580
ConsumerRecord 是 Apache Kafka 消费者从主题中读取消息时的核心数据结构，每条消息都会被封装为一个 ConsumerRecord 对象。它包含了消息的元数据（如来源、位置）和实际内容，是消费者处理消息的基础单元。
ConsumerRecord类详解
香槟的博客
09-24 3万+
从kafka接收的键/值对。这还包括一个主题名称和一个从中接收记录的分区号，一个指向Kafka分区中的记录的偏移量以及一个由相应ProducerRecord标记的时间戳。 构造方法 ConsumerRecord(java.lang.String topic, int partition, long offset, K key, V value) 创建一条记录，以从指定的主题和分区接收（为与K...
使用pykafka，kafka-python的api开发kafka生产者和消费者
learn_tech的博客
07-19 2万+
转载地址：https://blog.csdn.net/ricky110/article/details/79157043                   https://blog.csdn.net/DilemmaVF/article/details/71124060                   https://blog.csdn.net/yanhx1204/article/deta...
kafka消费者Consumer参数设置及参数调优建议-kafka 商业环境实战
weixin_33797791的博客
11-14 1万+
本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。版权声明：本套Spark商业应用实战归作者（秦凯新）所有，禁止转载，欢迎学习。 kafka 商业环境实战-kafka生产环境规划 kafka 商业环境实战-kafka生产者和消费者吞吐量测试 kafka 商业环境实战-kafka生产者Producer参数设置及参数调优建议 kafka ...
kafka实战教程(python操作kafka--理论篇)
weixin_30530339的博客
07-27 1937
应用往Kafka写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？ kafka介绍Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有： 以时间复杂度O(1)的方式提供消息持久化能力，并对大数据量能保证常数时间的访问性能；高吞吐率，单台服务器...
ConsumerRecord API
GoodIdea
05-23 9620
ConsumerRecord API用于从Kafka集群接收记录。 此API由主题名称，分区号(从中接收记录)和指向Kafka分区中的记录的偏移量组成。ConsumerRecord类用于创建具有特定主题名称，分区计数和&lt; key，value&gt;的消费者记录。 对。 它有以下签名。public ConsumerRecord(string topic,int partition, long ...
kafka学习笔记四Consumer学习
hwhanwan的专栏
08-21 2051
1.Consumer and Consumer Group  消费者与消费者分组 group.id  分组属性 client.id  consumer的id 2.Kafka Consumer programming  编程coding package com.hanwan.kafka.demo2; import org.apache.kafka.clients.consumer.Co...
你绝对能看懂的Kafka源代码分析-KafkaConsumer类代码分析
稀有气体的技术博客
04-10 7379
目录： 《Kafka Producer设计分析》 《KafkaProducer类代码分析》 《RecordAccumulator类代码分析》 《Sender类代码分析》 《NetworkClient类代码分析》 ------------------------------------------------------------------- 上一节《NetworkClient类代...
Kafka消费者详解
yfy的博客
05-28 2391
一.基本概念 1.消费者和消费组 Kafka消费者是消费组的一部分，当多个消费者形成一个消费组来消费主题时，每个消费者会收到不同分区的消息。假设有一个T1主题，该主题有4个分区；同时我们有一个消费组G1，这个消费组只有一个消费者C1。那么消费者C1将会收到这4个分区的消息，如下所示： Kafka一个很重要的特性就是，只需写入一次消息，可以支持任意多的应用读取这个消息。换句话说，每个应用都可以读到全量的消息。为了使得每个应用都能读到全量消息，应用需要有不同的消费组。对于上面的例子，假如我们新增.
kafka之消费者（Consumer）
zwl2220943286的博客
01-08 3053
kafka的Consumer如何消费消息，看这一篇就够了。
kafka复习：（10）按分区获取ConsumerRecord
amadeus_liu2的博客
08-24 296
【代码】kafka复习：（10）按分区获取ConsumerRecord。
kafka-消费者
weixin_45631654的博客
04-13 328
订阅主题和分区 1.订阅方式 三种 消息消费 1.方法 2.按主题，按分区 位移提交
Kafka (六) --------- Kafka 消费者及其生产经验
在森林里麋了鹿
08-20 558
Kafka 消费者相关
Kafka-Eagle：高效监控Kafka集群性能
Kafka-eagle是一个开源的Kafka集群监控和管理工具，它旨在为用户提供一个直观的界面来监控Kafka集群的健康状态，包括但不限于主题（Topics）、分区（Partitions）、副本（Replicas）、消费者群组（Consumer Groups）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值