kafka限流-最大吞吐数量-flink

最新推荐文章于 2025-06-18 13:40:51 发布

m0_61432255

最新推荐文章于 2025-06-18 13:40:51 发布

阅读量160

点赞数 1

CC 4.0 BY-SA版权

文章标签： kafka flink 分布式

本文链接：https://blog.csdn.net/m0_61432255/article/details/147516397

通过 Kafka Consumer 原生参数控制 单次拉取数据量，限制消费速率。

CREATE TABLE kafka_source (
  ...
) WITH (
  'connector' = 'kafka',
  'topic' = 'your_topic',
  'properties.bootstrap.servers' = 'localhost:9092',
  'properties.group.id' = 'flink-consumer-group',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'json',

  -- 关键限流参数
  'properties.max.poll.records' = '100',       -- 单次 poll 最多拉取 100 条
  'properties.fetch.max.bytes' = '1048576',    -- 单次拉取最大字节数 (1MB)
  'properties.fetch.max.wait.ms' = '500',     -- 单次拉取最长等待时间（默认500ms）
  'properties.fetch.min.bytes' = '1048576',   -- 单次拉取最小数据量（1MB）
  'properties.max.partition.fetch.bytes' = '524288' -- 每个分区单次拉取上限 (512KB)
);