本文介绍了Kafka Producer的重要配置参数，如linger.ms、buffer.memory、key.serializer和value.serializer，强调了enable.idempotence对消息幂等性的影响。还提到了KafkaProducer的核心属性，包括分区负载均衡、消息发送逻辑和事务管理。文中提供了简单的KafkaProducer使用示例，并分享了作者的编程经验和学习资源。
- linger.ms
为了提高 kafka 消息发送的高吞吐量，即控制在缓存区中未积满 batch.size 时来控制 消息发送线程的行为，是立即发送还是等待一定时间，如果linger.ms 设置为 0表示立即发送，如果设置为大于0，则消息发送线程会等待这个值后才会向broker发送。该参数者会增加响应时间，但有利于增加吞吐量。有点类似于 TCP 领域的 Nagle 算法。
- buffer.memory
用于控制消息发送者缓存的总内存大小，如果超过该值，往缓存区中添加消息会被阻塞，具体会在下文的消息发送流程中详细介绍，阻塞的最大时间可通过参数 max.block.ms 设置，阻塞超过该值会抛出超时异常。
- key.serializer
指定 key 的序列化处理器。
- value.serializer
指定 消息体的序列化处理器。
- enable.idempotence
从 kafka0.11版本开始，支持消息传递幂等，可以做到消息只会被传递一次，通过 enable.idempotence 为 true 来开启。如果该值设置为 true，其 retries 将设置为 Integer.MAX_VALUE，acks 将被设置为 all。为了确保消息发送幂等性，必须避免应用程序端的任何重试，并且如果消息发送API如果返回错误，应用端应该记录最后成功发送的消息，避免消息的重复发送。
从Kafka 0.11开始，kafka 也支持事务消息。
在 Kafka 中，生产者通过接口 Producer 定义，通过该接口的方法，我们基本可以得知 KafkaProducer 将具备如下基本能力：
- void initTransactions()
初始化事务，如果需要使用事务方法，该方法必须首先被调用。
- void beginTransaction()
开启事务。
- void sendOffsetsToTransaction(Map< TopicPartition, OffsetAndMetadata> offsets,String consumerGroupId)
向消费组提交当前事务中的消息偏移量，将在介绍 Kafka 事务相关文章中详细介绍。
- void commitTransaction()
提交事务。
- void abortTransaction()
回滚事务。
- Future< RecordMetadata> send(ProducerRecord<K, V> record)
消息发送，该方法默认为异步发送，如果要实现同步发送的效果，对返回结果调用 get 方法即可，该方法将在下篇文章中详细介绍。
- Future< RecordMetadata> send(ProducerRecord<K, V> record, Callback callback)
消息发送，支持回调。
- void flush()
忽略 linger.ms 的值，直接唤醒发送线程，将缓冲区中的消息全部发送到 broker。
- List< PartitionInfo> partitionsFor(String topic)
获取 topic 的路由信息（分区信息）。
- Map< MetricName, ? extends Metric> metrics()
获取由生产者收集的统计信息。
- void close()
关闭发送者。
- void close(Duration timeout)
定时关闭消息发送者。
上面的方法我们会根据需要在后续文章中进行详细的介绍。接下来我们看一下 KafkaProducer 的核心属性的含义。
- String clientId
客户端ID。在创建 KafkaProducer 时可通过 client.id 定义 clientId，如果未指定，则默认 producer- seq，seq 在进程内递增，强烈建议客户端显示指定 clientId。
- Metrics metrics
度量的相关存储容器，例如消息体大小、发送耗时等与监控相关的指标。
- Partitioner partitioner
分区负载均衡算法，通过参数 partitioner.class 指定。
- int maxRequestSize
调用 send 方法发送的最大请求大小，包括 key、消息体序列化后的消息总大小不能超过该值。通过参数 max.request.size 来设置。
- long totalMemorySize
生产者缓存所占内存的总大小，通过参数 buffer.memory 设置。
- Metadata metadata
元数据信息，例如 topic 的路由信息，由 KafkaProducer 自动更新。
- RecordAccumulator accumulator
消息记录累积器，将在消息发送部分详细介绍。
- Sender sender
用于封装消息发送的逻辑，即向 broker 发送消息的处理逻辑。
- Thread ioThread
用于消息发送的后台线程，一个独立的线程，内部使用 Sender 来向 broker 发送消息。
- CompressionType compressionType
压缩类型，默认不启用压缩，可通过参数 compression.type 配置。可选值：none、gzip、snappy、lz4、zstd。
- Sensor errors
错误信息收集器，当成一个 metrics，用来做监控的。
- Time time
用于获取系统时间或线程睡眠等。
- Serializer< K> keySerializer
用于对消息的 key 进行序列化。
- Serializer< V> valueSerializer
对消息体进行序列化。
- ProducerConfig producerConfig
生产者的配置信息。
- long maxBlockTimeMs
最大阻塞时间，当生产者使用的缓存已经达到规定值后，此时消息发送会阻塞，通过参数 max.block.ms 来设置最多等待多久。
- ProducerInterceptors<K, V> interceptors
生产者端的拦截器，在消息发送之前进行一些定制化处理。
- ApiVersions apiVersions
维护 api 版本的相关元信息，该类只能在 kafka 内部使用。
- TransactionManager transactionManager
kafka 消息事务管理器。
- TransactionalRequestResult initTransactionsResult
kafka 生产者事务上下文环境初始结果。
经过上面的梳理，详细读者朋友对 KafkaProducer 消息生产者有了一个大概的认识，下一篇会重点介绍消息发送流程。接下来我们以一个简单的示例结束本文的学习。
package persistent.prestige.demo.kafka;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import java.util.Properties;
import java.util.concurrent.Future;
public class KafkaProducerTest {
public static void main(String[] args){
Properties props = new Properties();
props.put(“bootstrap.servers”, “localhost:9092,localhost:9082,localhost:9072,”);
props.put(“acks”, “all”);
props.put(“key.serializer”, “org.apache.kafka.common.serialization.StringSerializer”);
props.put(“value.serializer”, “org.apache.kafka.common.serialization.StringSerializer”);
Producer<String, String> producer = new KafkaProducer<>(props);
try {
for (int i = 0; i < 100; i++) {
Future future = producer.send(new ProducerRecord<String, String>(“TOPIC_ORDER”, Integer.toString(i), Integer.toString(i)));
RecordMetadata recordMetadata = future.get();
System.out.printf(“offset:” + recordMetadata.offset());
}
} catch (Throwable e) {
e.printStackTrace();
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）
总结
对于面试，一定要有良好的心态，这位小伙伴面试美团的时候没有被前面阿里的面试影响到，发挥也很正常，也就能顺利拿下美团的offer。
小编还整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家，
最后感谢大家的支持，希望小编整理的资料能够帮助到大家！也祝愿大家都能够升职加薪！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
面试题及答案，希望能帮助到大家，
[外链图片转存中…(img-DJoPAL60-1713540108894)]
[外链图片转存中…(img-Dcw8pwAI-1713540108894)]
最后感谢大家的支持，希望小编整理的资料能够帮助到大家！也祝愿大家都能够升职加薪！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
扫一扫
4382
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
