记一次Flink 写Mysql优化

最新推荐文章于 2025-07-04 12:45:49 发布

原创

最新推荐文章于 2025-07-04 12:45:49 发布 · 2.8k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#flink #mysql优化

本文记录了一次使用Flink统计每5分钟活跃用户数并写入MySQL的优化过程。由于离线任务对MySQL的压力，导致实时任务出现超时问题。通过调整Flink SQL查询方式，避免了数据不准确和反压问题，显著降低了MySQL的写入压力，优化后运行稳定，未再出现连接超时故障。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：

统计每5分钟内的活跃用户数，并写入mysql，mysql数据结构如下图所示。

时间	活跃用户数
10:00	2
10:05	4
10:10	3

废话不多说，直接上sql

select
	p_product,
	p_project,
	p_dt,
	SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5),
	count(distinct device_id)
from
	hive_catalog.t_kafka 
    /*+ OPTIONS   ('connector.properties.group.id'='my_group') */

group by
	p_product,
	p_project,
	p_dt,
	SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5)

其中p_ts 是事件时间。

写入mysql代码如下

.addSink(JdbcSink.sink("insert into active_num_5m(p_product,p_project,p_dt,event_time,num ) values(?,?,?,?,?) on duplicate key update num=values(num)",
                (JdbcStatementBuilder<Row>) (preparedStatement, row) -> {
                    preparedStatement.setString(1,getRowStr(row.getField(0)));
                    preparedStatement.setString(2,getRowStr(row.getField(1)));
                    preparedStatement.setString(3,getRowStr(row.getField(2)));
                    preparedStatement.setS