flink 解决udf重复调用的问题（亲测有效）

spark sql中踩到的一个坑，自定义Udf会执行多次，即使在已经cache table的情况下:  https://issues.apache.org/jira/browse/SPARK-15282 以前也没发现这个问题，因为如果一个UDF是无状态的话，其实执行多次并不会导致结果的最终一致性被打破，说来也巧啊，最近写了一个UDF里面封装了redis的hsetnx操作 val hse

实时UDF中open方法执行次数描述背景：执行报错：问题排查：排查：疑惑：解决：引申：总结： 描述背景： 在使用blink进行开发IP匹配的时候，因为是通过UDF来实现的，所以打算在UDF的open方法中预先读取IP信息数据，【open方法对于一个实例Task只调用执行一次，算作是预处理，类似hive的UDF中setup方法】存放在集合中。然后处理集合，按照有序排序，最终使用二分查找去寻找当前IP对应的地址信息。 具体实现和背景介绍在之前的这篇文章：链接—>Hi一起来了解实时数据的IP解析吧 执行报错

前言 之前讲解Flink SQL执行流程时留下了代码生成的坑，在百忙之中抽时间补一补。 代码生成简介 代码生成(code generation)是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一。通过代码生成，可以将原本需要解释执行的算子逻辑转为编译执行(二进制代码)，充分利用JIT编译的优势，克服传统Volcano模型虚函数调用过多、对寄存器不友好的缺点，在CPU-bound场景下可以获...

这个时候如果UDF不能保证幂等性，计算结果就会出错。例如入参是个List，第一次执行UDF时改了传入的List中的数据，第二次UDF执行时会在第一次执行的基础上再次改变传入的List中的数据，结果就不正确了！编写Flink UDF 要注意幂等性，尤其不能直接修改入参！理论上是一条数据只会执行一次UDF，但是实际执行过程中可能会对一条数据执行多次UDF，引起意想不到的问题。

场景： 在项目开发中，需要自定义一个udf函数去处理当前系统时间并记录，然而在使用中发现函数调用的时候生成的所有时间都是一样的，经过反复测试发现这个自定义的udf类仅仅在flink job启动时调用了一次，所以生成的时间都是最初job加载的时间 原因： 查阅资料后发现，flink sql存在一种防止反复调用的优化机制，当udf 的function被调用时，如果你选择无参构造，flinksql执行器会通过生成的物理计划对sql进行优化来防止反复调用生成相同的结果来节省资源，简单来说就是无参的自定义udf

在Flink SQL中，UDF（User-Defined Function，用户自定义函数）是一种扩展Flink SQL处理能力的机制。通过UDF，用户可以编写自定义的Java或Scala代码，以处理Flink SQL无法直接支持的数据处理逻辑。

虽然Flink没有直接的“Module”接口供用户实现来封装UDF，但你可以通过创建一个包含UDF注册逻辑的类来模拟这种效果。这个类可以在Flink启动时通过配置或编程方式被加载，并自动注册UDF。然而，在Flink的当前版本中，更常见的方法是使用Flink的Table API来动态注册UDF，而不是通过创建一个完整的“Module”系统。

最近在开发Flink任务过程当中发现了一个比较奇怪的问题，在Flink上多次提交任务后会出现一个OOM的异常，意思是Flink的内存已经满了，无法再提交新的任务。如下： 其中有这么一句： 该异常确实是多次提交任务后出现的，不禁让人怀疑： 为了验证这个怀疑，就不得不先了解Flink的类加载机制。在Flink中，有两种类加载机制：因为Flink是基于JVM的，所以先回顾下JVM的类加载机制在JVM中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加

Kafka的两个topic，topic1 为用户下单明细记录（包含订单基本信息），topic2为下单渠道记录（包含下单来源和渠道内容设备相关的信息） ，要求实时统计每分钟内所有订单下的渠道来源分布详情。具体做法是1.双流关联得到每个订单的渠道信息明细interval join 2.根据渠道维度汇总聚合数据。但是在实时流数据输出的结果和离线订单有gap，发现双流关联后中间结果数据有重复订单数据。

本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价...

博主在测试flink开发任务的时候发现，以下代码在本地测试的时候没有问题，但是上传到flink集群中跑的时候，数据发送不到指定的kafka主题sinkTopic，而是发送了其他的 topic。...

在最近的项目中有使用到Flink 批处理的方式来进行数据源的数据同步。由于一些原因，并没有去使用开源的flinkx 之类的工具，而且Flink Jdbc connect 是一种基于查询数据同步，在数据同步之前必然会业务方造成查询压力的。目前在需要同步的表中，其它的表数据最高也不超过千万，但是我们源表的数据量却是达到了上亿级别。这种数据量的业务，在数据查询中一不小心就会照成查询超时，所以在大表数据同步时需要特别注意。而由于 Flink jdbc 本身设计原因，它默认是不支持条件查询的，默认均是扫描全表。所以最

桔妹导读：滴滴实时计算引擎从Flink-1.4无缝升级到Flink-1.10版本，做到了完全对用户透明。并且在新版本的指标、调度、SQL引擎等进行了一些优化，在性能和易用性上相较旧版本都...

本文章为 flink 1.14 官网中 flink sql 自定义函数部分的翻译与整理。

​ Flink SQL无疑是实时数仓领域一个最耀眼的明星，他对于统一流批一体的设计可谓是居功至伟。鉴于Flink SQL在实时数仓领域的卓越表现，我们很有必要对Flink SQL在ETL场景下的表现要有深刻的理解。本文聚焦于Flink SQL UDF使用场景下由于SQL重写导致UDF翻倍调用的原理分析及对应的应对策略。

Blink 自定义函数（UDX）

flink-sql 自定义UDF需注意： 1、函数类 实现类必须继承自合适的基类之一（例如 org.apache.flink.table.functions.ScalarFunction ）。 该类必须声明为 public ，而不是 abstract ，并且可以被全局访问。不允许使用非静态内部类或匿名类。 为了将自定义函数存储在持久化的 catalog 中，该类必须具有默认构造器，且在运行时可实例化。 2、求值方法 基类提供了一组可以被重写的方法，例如 open()、 close() 或 isDe.