Flink最新常用算子说明 - Flink1.12

本文详细介绍了Flink中的关键算子,包括Map、FlatMap、Filter、KeyBy、Reduce、Aggregations、Window、WindowAll、Union、Window Join和CoGroup等,阐述了它们的功能和用法,帮助理解Flink实时数据处理机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

flink中提供了大量的算子,我这里简单介绍一下常用的算子及基本使用:

  • Map

DataStream → DataStream

输入一个元素产生一个元素,map的功能是对输入的元素进行转换操作。

一个映射函数,将输入流元素的值加倍:

dataStream.map { x => x * 2 }
  • FlatMap

DataStream → DataStream

输入一个元素并产生0、1或多个元素。这个算子多用于拆分操作。

可将句子拆分为单词:

dataStream.flatMap { str => str.split(" ") }
  • Filter

DataStream → DataStream

为每个元素评估一个布尔函数,并保留该函数返回true的元素。

过滤出零值的过滤器:

dataStream.filter { _ != 0 }
  • KeyBy

DataStream → KeyedStream

逻辑上将一个流划分为不相交的分区,每个分区都包含同key的元素,在内部是通过hash实现的。以key分组,返回KeyedStream。

dataStream.keyBy(_.someKey) 
dataStream.keyBy(_._1) 
<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蜗牛@漫步

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值