Flink1.12 SQL连接器之JDBC Connector介绍与使用总结

最新推荐文章于 2025-07-06 14:41:43 发布

原创

最新推荐文章于 2025-07-06 14:41:43 发布 · 5.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flink

前言

与DataStream同样，官方在Flink SQL上也提供了很多连接器，今天来学习总结一下JDBC连接器

环境准备

如果使用编码，需要引入两个依赖包，Flink提供的jdbc连接器依赖和和对应的mysql驱动包，

以下为1.12.0 提供的jdbc连接器依赖

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-jdbc_2.11</artifactId>
  <version>1.12.0

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

俩只猴

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Flink JDBC Connector：Flink 与数据库集成最佳实践

SmartSi

08-26

2935

Dialect (方言)对各个数据库来说，Dialect 体现各个数据库的特性，比如语法、数据类型等。如果需要查看详细的差异，可以点击这里[6]查看详细差异。下面通过对比 MySQL 和 Postgres 的一些常见场景举例：在数据类型上面，Flink SQL 的数据类型目前映射规则如下：Flink 目前支持三种 Dialect: Derby、MySQL、PostgreSQL，Derby 主要用于测试，更多的类型映射可以点击下方链接前往官方文档查看。......

Flink DataStream 实战：通过 JDBC Connector 写入 MySQL

SmartSi

05-18

1293

本文介绍了如何在 Flink 1.13.5 中使用 JDBC Connector 将 DataStream 数据实时写入 MySQL 数据库。首先，需要在项目中添加 Flink JDBC Connector 和 MySQL JDBC 驱动程序的依赖。接着，创建了一个 MySQL 表 tb_user_active 用于存储用户活跃数据。文章详细剖析了 JdbcSink 的核心组件，包括 SQL 语句、JDBC 语句构建器、执行控制参数和数据库连接参数，并提供了完整的 JdbcSink 示例代码。通过这些步骤，

3 条评论您还未登录，请先登录后发表或查看评论

flink-connector-jdbc_2.11-1.11.2.jar

02-24

flink本身DDL的方式目前还不支持clickhouse，本jar添加对clickhouse的支持，导入到flink/lib下即可使用

Flink ClickHouse 连接器：实现 Flink 与 ClickHouse 无缝对接

最新发布

qq_42773076的博客

07-06

1161

Flink ClickHouse 连接器为Apache Flink与高性能列式数据库ClickHouse提供了无缝集成，支持数据读写和Catalog管理。该连接器基于JDBC实现，提供灵活的配置选项，如批量大小、重试次数等。使用前需通过Maven安装依赖，支持丰富的Flink与ClickHouse数据类型映射。通过CREATE TABLE语句可注册ClickHouse表并进行SQL操作，还支持创建ClickHouseCatalog实现多库管理。项目具备开源特性，欢迎用户反馈和贡献代码。

使用flink-connector-jdbc实现flink写入clickhouse、mysql等

weixin_43695091的博客

05-01

3345

使用flink-connector-jdbc实现flink写入clickhouse、mysql等适用范围：flink1.11.0及之后版本，包名为flink-connector-jdbc 编辑pom.xml中的<dependencies />小节添加依赖。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>fli

Flink JDBC Connector 支持Oracle

06-14

Flink JDBC Connector 支持Oracle ， Flink 1.13.6 支持Oracle 11.2.0.4

FLINK 1.12.2 jdbc实现oracle或sqlserver连接器

arwenlin的博客

05-18

6579

Flink SQL Connector JDBC目前只支持Mysql，Derby和Postgres，但是oracle和sqlserver可以通过JDBC connector自己扩展。目前只能修改重编FLINK源码实现扩展，社区正在积极对此进行抽象和改造，未来应该会有更好的接口扩展方式。目录 1.编译FLINK源码 2.SQLSERVER JDBC扩展示例 2.1 Flink JDBC源码简介 2.2 Flink JDBC扩展思路 2.3 Flink JDBC SQLServer connect

【源码分析】chunjun实现flink sql连接器的顶层思想：通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期

hiliang521的博客

06-23

1110

【源码分析】chunjun实现flink sql连接器的顶层思想：通过实现InputFormatSourceFunction来串起flink sql 连接器的生命周期

详述Flink SQL Connector写入clickhouse的问题与方法

热门推荐

search-lemon的博客

08-20

1万+

文章目录1. 问题描述2. 解决办法2.1 扩展jdbc connector支持clickhouse2.2 使用flink-connector-clickhouse 1. 问题描述笔者使用Flink1.11 SQL（jdbc connector）将实时数据写入Clickhouse时报以下异常： Exception in thread "main" org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "de

FLINK 1.12.2 jdbc读写mysql

arwenlin的博客

05-14

3758

FLINK读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，另一种是自定义source和sink，第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类，不够灵活；第一种是通过DataSet API实现的；考虑到官网一直强调Table API的流批统一性，以及代码的简易程度，这里选择第三种方式DDL链接jdbc来读写mysql。 1.添加依赖参照官网需要添加如下两个jar包mysql-

flink-connector-jdbc-2.12-1.14.3-API文档-中文版.zip

04-07

赠送jar包：flink-connector-jdbc_2.12-1.14.3.jar 赠送原API文档：flink-connector-jdbc_2.12-1.14.3-javadoc.jar 赠送源代码：flink-connector-jdbc_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-connector-jdbc_2.12-1.14.3-javadoc-API文档-中文(简体)版.zip 对应Maven信息：groupId：org.apache.flink，artifactId：flink-connector-jdbc_2.12，version：1.14.3 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。

flink-connector-jdbc_2.12-1.14.3.jar

04-07

flink本身DDL的方式目前还不支持clickhouse，本jar添加对clickhouse的支持，导入到flink/lib下即可使用

cacheable-lookup:尊重TTL的可缓存dns.lookup（…）

05-10

可缓存查找尊重TTL的可缓存 :party_popper: 发出大量HTTP请求？您可以通过缓存DNS查找来节省一些时间 :high_voltage: 用法使用lookup选项 const http = require ( 'http' ) ; const CacheableLookup = require ( 'cacheable-lookup' ) ; const cacheable = new CacheableLookup ( ) ; http . get ( 'http://example.com' , { lookup : cacheable . lookup } , response => { // Handle the response here } ) ; 将CacheableLookup附加到代理 const http = require ( 'http' ) ; const CacheableLookup

flink SQL与jdbc(mysql整合)

m0_37592814的博客

11-21

7178

一、前言

flink实战--flinksql连接器(jdbc-connector)添加对clickhouse的支持

阿华田的博客

02-04

3745

简介在目前的所有的flink版本中，flinksql原生还不支持直接ddl的当时创建clickhouse表，进行业务开发。需要我们自己实现clickhouse的connector。本文将详细介绍通过改造原生flink-connector-jdbc添加对clickhouse的支持。步骤第一步：模仿MySQLDialect编写自己的ClickHouseDialect，代码如下： public class ClickHouseDialect extends.........

【Flink】使用JDBC connector写入ClickHouse

九师兄

01-29

2001

1.概述转载并且添加使用JDBC connector写入ClickHouse 2.背景信息 Flink 1.10.1 + flink-jdbc Flink 1.11.0 + flink-connector-jdbc 本节主要介绍如何利用 ClickHouse JDBC connector，使用不同版本的 Flink 写入数据到 ClickHouse 中。 2.1 背景信息 Flink 在 1.11.0 版本对其 JDBC connector 进行了一次较大的重构：重构之前（1.10.1 及之前版本.

Flink 1.12.1 JDBC连接 Sink

weixin_42066446的博客

01-27

1618

Flink 1.12.1 JDBC连接 Sink 以MySQL为例，参考Flink官网，地址：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/connectors/jdbc.html Flink版本：1.12.1 scala版本：2.12 MySQL版本：8.0.22 pom依赖 <dependency> <groupId>org.apache.flink</groupId&gt

Flink SQL join类型

chanyue123的博客

03-07

2425

flink sql join类型讲解

大数据（9h）FlinkSQL之Lookup Join

ArYe

11-29

8584

ttl FOR SYSTEM_TIME AS OF Processing Time Temporal Join lookup join lookup cache Flink查询缓存 lookup.cache.max-rows lookup.cache.ttl

基于Flink 1.12与FlinkSQL实现ETL操作的演示示例

总结而言，"flink-1.12-sql-demo" 项目是一个用于学习和演示 Flink SQL 和 Flink CDC 集成的实用案例，特别适合那些想要了解如何使用 Java 和 Flink SQL 进行流处理和 ETL 操作的开发者。通过该项目，开发者可以学习...