Flink中Broadcast State（广播）的理解和使用-nclk

最新推荐文章于 2024-05-06 09:51:34 发布

原创

最新推荐文章于 2024-05-06 09:51:34 发布 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

文章目录

一、Flink中广播Broadcast State

1、使用目的

是为了实现高效的关联字典数据（map side join），可以动态的修改Broadcast State里面的值！

2、使用方法

创建两个了流，其中一个是可广播的流，另外一个是非广播的流
可广播的流会通过网络广播到所有的TaskManager的TaskSlot中
非广播的流要连接广播的流，然后就可以实现关联

在这里插入图片描述

二、需求

1、需要广播的字典数据

type,id,activity
INSERT,1,新人礼包
INSERT,2,女神节促销
INSERT,3,周末活动
UPDATE,3,周末抽奖
DELETE,3,周末抽奖

2、要关联字典的费广播数据

uid,dt,id
uid01,2020-03-08 11:11:11,2
uid01,2020-03-08 11:11:11,1
uid01,2020-03-08 11:11:11,3
uid01,2020-03-08 11:11:11,3

三、代码深入理解

1、将广播的流处理，广播到各个subTask中

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.state.BroadcastState;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.api.common.state.ReadOnlyBroadcastState;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.api.java.tuple.Tuple4;
import org.apache.flink.streaming.api.datastream.BroadcastConnectedStream;
import org.apache.fli