Flink SQL 基于Update流出现空值无法过滤问题

青山流水在深谷

已于 2024-04-10 17:47:44 修改

阅读量1.2k

点赞数 9

CC 4.0 BY-SA版权

于 2024-03-27 17:48:20 首次发布

本文链接：https://blog.csdn.net/dymkkj/article/details/137083646

文章讲述了Flink-CDC(2.3.0Flink1.15)环境下，实时计算作业在插入数据库时遇到主键属性缺失引发的问题，通过定位发现是由于Flink-SQL消费的Kafka数据更新流中存在空值记录。解决方法是通过创建视图过滤掉空值，确保数据质量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题背景

问题描述

基于Flink-CDC(2.3.0 Flink 1.15) ，Flink SQL的实时计算作业在运行一段时间后，突然发现插入数据库的计算结果发生部分主键属性发生失败，导致后续计算结果无法插入，
超过失败次数失败的情况

问题报错

	Caused by: java.sql.BatchUpdateException: Batch entry 0 INSERT INTO dm_hljy.dws_table_name (op_date, school_year, campus_name, school_name, depart_name, total_opfare, ids, update_time) VALUES ('2024-03-11 00:00:00+08', '2023', 'xxxx', 'xxxx学校', 'xxxx小学部', '203333300000', '57', '2024-03-21 09:31:08.47+08') ON DUPLICATE KEY UPDATE school_year=VALUES(school_year), total_opfare=VALUES(total_opfare), ids=VALUES(ids), update_time=VALUES(update_time) was aborted: ERROR: dn_6007_6008: null value in column "depart_name" violates not-null constraint  Call getNextException to see other errors in the batch.
		at com.huawei.gauss200.jdbc.jdbc.BatchResultHandler.handleCompletion(BatchResultHandler.java:171) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
		at com.huawei.gauss200.jdbc.core.v3.QueryExecutorImpl.executeBatch(QueryExecutorImpl.java:586) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
		at com.huawei.gauss200.jdbc.jdbc.PgStatement.executeBatch(PgStatement.java:883) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
		at com.huawei.gauss200.jdbc.jdbc.PgPreparedStatement.executeBatch(PgPreparedStatement.java:1580) ~[huaweicloud-dws-jdbc-8.1.1.1-200.jar:?]
		at org.apache.flink.connector.jdbc.statement.FieldNamedPreparedStatementImpl.executeBatch(FieldNamedPreparedStatementI