Flink从入门到真香(6、Flink实现UDF函数-实现更细粒度的控制流）

最新推荐文章于 2025-07-10 14:27:53 发布

马飞

最新推荐文章于 2025-07-10 14:27:53 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

文章标签：数据库 java python 大数据 flink

本文链接：https://blog.csdn.net/oMaFei/article/details/109575343

Flink提供了各种数据的转换操作，但实际业务过程中有很多业务上需要处理的数据结构、规则等等，需要自己写自己的业务代码，这时候就用到的flink提供的函数类(Function Class)

Flink暴露了所有udf函数的接口(实现方式为接口或者抽象类)，例如MapFunction，FilterFunction，ProcessFunction等。

一个小栗子，要筛选数据中以sensor3为开头的数据
还是在com.mafei.apitest新建一个scala Object UDFTest1
其他代码跟之前一样，读取文件做些简单处理，这里增加了一个自定义的函数类MyFilterFunction，在使用时，只需要在逻辑处增加.filter方法即可，

package com.mafei.apitest

import org.apache.flink.api.common.functions.{FilterFunction, ReduceFunction, RichFilterFunction}
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, createTypeInformation}

//获取传感器数据

case class SensorReadingTest1(id: String,timestamp: Long, temperature: Double)

object UdfTest1 {
  def main(args: Array[String]): Unit = {
    //创建执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    case class Person(name: String, age: Int)

    val inputStream= env.readTextFile