flink- AsyncDataStream 异步处理

原创已于 2022-02-25 16:27:49 修改 · 3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #big data

于 2022-02-25 14:41:34 首次发布

flink 专栏收录该内容

10 篇文章

订阅专栏

本文探讨了Flink的AsyncDataStream中unorderedWait和orderedWait两种处理模式，介绍了它们在数据顺序和性能上的差异，以及在处理耗时操作时的使用场景。重点讲解了有序等待如何通过缓存提高吞吐量但可能导致延迟和Checkpoint负载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、AsyncDataStream有2个方法：unorderedWait表示数据不需要关注顺序，处理完立即发送，orderedWait表示数据需要关注顺序，为了实现该目标，操作算子会在该结果记录之前的记录为发送之前缓存该记录。这往往会引入额外的延迟和一些Checkpoint负载，因为相比于无序模式结果记录会保存在Checkpoint状态内部较长的时间。

代码案例：

        //异步查询：Flink处理数据时候，遇到比较耗时的操作时，需要异步处理数据。
        SingleOutputStreamOperator<JSONObject> jsonObjectSingleOutputStream = AsyncDataStream
                .unorderedWait(
                        StreamOperator, new JDBCAsyncFunctionAnalysis(), 10 * 60 * 1000, TimeUnit.MICROSECONDS, 10).process(
                        new DataGovernanceFunction(context)
                ).setParallelism(opertatorPara);