关于flinkCDC监控mysql binlog时，datetime类型自动转换成时间戳类型问题

咸鱼c君

已于 2024-12-29 19:11:23 修改

阅读量814

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据 flink 文章标签： mysql 数据库 flink

于 2024-12-29 19:07:05 首次发布

本文链接：https://blog.csdn.net/weixin_42682982/article/details/144808353

flinkCDC监控mysql binlog时，datetime类型自动转换成时间戳类型

问题
解决
- 1.自定义转换器类
- 2.代码引用
结果

问题

flink版本：1.18.1，mysql版本：8.0.40
使用FlinkCDC的MySqlSource 连接mysql，对于datetime 类型字段，Flink CDC 会自动将 datetime 类型的字段转换为时间戳（BIGINT 类型）。如：2020-10-21 18:49:12 变成 1603306152000
在这里插入图片描述

解决

1.自定义转换器类

创建 MyDateToStringConverter 类实现 CustomConverter 接口，并重写


import io.debezium.spi.converter.CustomConverter;
import io.debezium.spi.converter.RelationalColumn;
import org.apache.kafka.connect.data.SchemaBuilder;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.sql.Timestamp;
import java.time.*;
import java.time.format.DateTimeFormatter;
import java.util.Properties;
import java.util.function.Consumer;

/**
 * 日期时间类型转换成字符串
 */
public class MyDateToStringConverter implements CustomConverter<SchemaBuilder, RelationalColumn> {
   
   
    private static final Logger log = LoggerFactory.getLogger(MyDateToStringConverter.class);
    private DateTimeFormatter dateFormatter = DateTimeFormatter.ISO_DATE;
    private DateTimeFormatter timeFormatter = DateTimeFormatter.ISO_TIME;
    private DateTimeFormatter datetimeFormatter = DateTimeFormatter.ISO_DATE_TIME;
    private DateTimeFormatter timestampFormatter = DateTimeFormatter.ISO_DATE_TIME;
    private ZoneId timestampZoneId = ZoneId.systemDefault();

    public static final String CONVERTERS = "converters";
    public static final String DATE = "date";
    public static final String DATE_TYPE = "date.type";
    public static final String DATE_FORMAT_DATE = "date.format.date";
    public static final String DATE_FORMAT_DATETIME = "date.format.datetime";
    public static final String DATE_FORMAT_TIMESTAMP = "date.format.timestamp";
    public static final String DATE_FORMAT_TIMESTAMP_ZONE = "date.format.timestamp.zone";
    public static final String YEAR_MONTH_DAY_FORMAT = "yyyy-MM-dd"