flume系列之：拦截器过滤数据

最新推荐文章于 2023-07-30 07:21:39 发布

快乐骑行^_^

最新推荐文章于 2023-07-30 07:21:39 发布

阅读量853

点赞数 1

CC 4.0 BY-SA版权

分类专栏： flume

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/125612602

flume 专栏收录该内容

72 篇文章 ¥29.90 ¥99.00

订阅专栏

本文介绍了如何使用Flume拦截器处理Kafka中的空值数据。针对Kafka ConsumerRecord中value为None的情况，通过Flume拦截器进行过滤。文章还提到了相关拦截器开发的博客资源，以帮助读者更深入理解拦截器的工作原理和使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume系列之：拦截器过滤数据

一、kafka空值数据
二、拦截器过滤空值数据
三、拦截器打印head和body

一、kafka空值数据

ConsumerRecord(topic=‘debezium-prod-optics_prod_1h.optics_prod.user_order’, partition=2, offset=3636705, timestamp=1656746091521, timestamp_type=0, key=b’{“schema”:{“type”:“struct”,“fields”:[{“type”:“int32”,“optional”:false,“field”:“order_id”}],“optional”:false,“name”:“debezium_prod_optics_prod_1h.order_prod.user_order.Key”},“playload”:{“order_id”:2752094}}', value=None, headers=[], checksum=None, serialized_key_size=223, serialized_value_size=-1, serialized_header_size=-1)

如上所示：