超级会员免费看
本文介绍了使用Flink的MapState实现实时数据去重的案例，以广告点击用户数计算为例，详细阐述了如何通过事件时间和自定义KeyedProcessFunction创建并管理状态，以及数据清理的定时器注册。此外，还提供了电商平台用户行为数据计数的场景，讲解了如何在Flink中声明和使用Keyed State进行状态管理。
MapState[K, V]保存Key-Value对。
- MapState.get(key: K)
- MapState.put(key: K, value: V)
- MapState.contains(key: K)
- MapState.remove(key: K)
实例一：
去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。
此篇介绍如何通过编码方式实现精确去重，以一个实际场景为例：计算每个广告每小时的点击用户数，广告点击日志包含：广告位ID、用户设备ID(idfa/imei/cookie)、点击时间。
实现步骤分析：
- 为了当天的数据可重现，这里选择事件时间也就是广告点击时间作为每小时的窗口期划分
- 数据分组使用广告位ID+点击事件所属的小时
- 选择processFunction来实现，一个状态用来保存数据、另外一个状态用来保存对应的数据量
- 计算完成之后的数据清理，按照时间进度注册定时器清理
广告数据
case class AdData(id:Int,devId:String,time:Long)分组数据
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
