Flink DataSet参数传递

最新推荐文章于 2025-07-17 00:11:32 发布

原创最新推荐文章于 2025-07-17 00:11:32 发布 · 511 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #flink参数

Flink 专栏收录该内容

19 篇文章

订阅专栏

本文深入探讨了Apache Flink中参数传递的多种方法，包括构造函数传递、通过withParameters方法传递给RichFunction以及设置全局参数。通过实例代码展示了如何在Flink作业中灵活运用这些参数传递技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

专栏原创出处：github-源笔记文件，github-源码，欢迎 Star，转载请附上原文出处链接和本声明。

参数传递

实际开发过程中我们需要在整个任务运行过程中传递自定义参数。本节内容对应官方文档，本节内容对应示例源码

Dataset 定义：

trait Parameters extends MainApp {
  val env = ExecutionEnvironment.getExecutionEnvironment
  val toFilter = env.fromElements(1, 2, 3)
}

构造函数传递
示例代码：

object UseConstructor extends Parameters {

  toFilter
    .filter(_ > 2) // 2 可以由构造函数传递
    .print()

}

RichFunction 函数传递
自定义参数调用withParameters方法传递给 [[org.apache.flink.api.common.functions.RichFunction]]
示例代码：

object UseWithParameters extends Parameters {

  val c = new Configuration()
  c.setInteger("limit", 2)

  toFilter.filter(new RichFilterFunction[Int]() {
    var limit = 0

    override def open(config: Configuration): Unit = {
      limit = config.getInteger("limit", 0)
    }

    def filter(in: Int): Boolean = in > limit
  }).withParameters(c) // 自定义参数传递给 UdfOperator&DataSource
    .print()
}

全局参数传递
自定义参数调用setGlobalJobParameters方法在执行配置中注册
示例代码：

object UseGlobally extends Parameters {
  val conf = new Configuration()
  conf.setInteger("limit", 2)
  env.getConfig.setGlobalJobParameters(conf) // 设置全局参数

  toFilter.filter(new RichFilterFunction[Int]() {
    var limit = 0

    override def open(config: Configuration): Unit = {
      val globalParams = getRuntimeContext.getExecutionConfig.getGlobalJobParameters

      // 从全局参数中获取对应值
      limit = globalParams.asInstanceOf[Configuration].getInteger("limit", limit)
    }

    def filter(in: Int): Boolean = in > limit
  })
    .print()
}