Flink与Redis集成：自定义连接器实现维表创建与数据汇入

已于 2024-01-31 22:58:01 修改
阅读量899 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Flink 文章标签： flink java 数据库
于 2024-01-31 22:55:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzhcoder/article/details/135962025
本文介绍了如何使用自定义Flink连接器实现Redis维表的创建和数据汇入。内容涵盖Redis维表的设计要点，包括复用第三方Redis connector、Flink format以及本地缓存策略。同时，文章还探讨了Redis汇表写入的实现，参考了阿里云的DDL实现，并提供了关键代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、问题引入

二、Redis创建维表 

2.1 预期效果展示

2.2 设计要点

复用第三方redis connector

复用 flink format

封装redis读取操作

维表 local cache

三、Redis汇表写入

3.1 预期效果展示

3.2 设计要点

参考阿里云的DDL的实现

复用第三方redis connector

支持的结构

相关资料

一、问题引入

Flink 的标准发行版提供了对常见数据源和接收器的支持，例如Apache Kafka、Elasticsearch、JDBC 和 Apache Hive。然而，截至目前，Apache Flink 本身并未包含用于与Redis进行数据交互的官方支持或连接器。

所以，如果希望使用像

  1. CREATE TABLE ... WITH ('connector' = 'redis', ...)这样的DDL语句来创建与Redis的维表，就必须使用一个自定义的Source。
  2. INSERT INTO redis_sink_table 这样的DDM语句往redis汇表中插入数据，就必须使用一个自定义的Sink。

通常，这需要有一个为Flink SQL API扩展开发的第三方库，该库提供了与Redis交互所需

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据面试临阵磨枪不知看什么？看这份心理就有底了-大数据常用技术栈常见面试100道题
大模型大数据攻城狮的专栏
04-08 644
YARN（Yet Another Resource Negotiator）是Hadoop的资源管理和作业调度层。它的主要角色是管理和调度集群资源，以及协调各种应用程序的执行。YARN的主要功能包括：资源管理：YARN负责分配和管理集群中的资源，如内存、CPU和存储资源。作业调度：YARN调度和监控各种作业的执行，确保资源得到合理利用。应用程序协调：YARN协调运行在集群上的各种应用程序，如MapReduce、Spark等。容错处理：YARN能够处理节点故障和应用程序失败，确保作业能够顺利完成。
Flink维表关联之Redis(java实现)
znmdwzy的博客
08-06 2801
需求背景： 需要流数据与Redis数据进行关联查询。通常情况下Flink可以通过RichMapFunction来创建外部数据系统的client连接，来进行数据的写入和数据的读取。但这种同步查询和操作数据库的方式会因网络等问题影响数据处理的效率，如果想提升效率就要考虑增加算子的并行度，这会增多额外的资源开销。写这个也是网上java实现的资料太少了！ 解决思路： Flink在1.2版本中引入了Asynchronous I/O，能够支持异步的方式连接外部的存储系统，从而提升Flink系统与外部数据库交互的性能与吞
flink连接redis工具类-简单好用
fengjian的博客
05-07 3208
简单易容的flink redis 工具
Flink 写入 Redis 的方法与第三方库
最新发布
qq_1342832900的博客
05-30 497
Flink写入Redis的主要方法包括：1. 使用Flink DataStream API结合Jedis直接操作Redis；2. 推荐使用bahir-flink的Redis Connector，提供深度集成方案；3. Lettuce异步客户端适合高性能场景；4. 高级方案可结合Flink State实现批量写入；5. Redisson支持分布式特性。性能优化建议包括配置连接池、批量写入、序列化优化等。不同方案各具特点：Jedis简单易用但性能一般，Bahir Connector集成度高但功能基础，Lettu
Flink Sql Redis Connector
bigdatakenan的博客
06-20 2144
以下为sql读取结果，直接将redis数据解析成我们需要的表格形式。
实时数仓之Flink实现版本维表数据的Redis全局缓存
道可道非常道
05-04 1312
在维度模型中，数据通常被划分为维度和事实两大阵营，而维度通常是渐变(Kimball维度模型领域通常称呼这种维度为缓慢变化维度或者又被称为渐变维度)的，这种场景下，要求我们在维表建模过程中，要更多的考虑维度版本的变化，保存维度变化的维表模型可以方便在ETL和应用过程中可以让事实数据匹配自己对应的维度信息，这种场景在实时数仓构建过程中是比较常见的。通常在维度建模过程中，针对渐变维表建模的方式主要有以下几种方案：Kimball渐变维表类型2(可以认为是方案)技术方案。
Flink-Connectors(连接器)（2）Redis
胖虎儿的博客
04-12 7162
flink 提供了专门操作redis 的RedisSink，使用起来更方便，而且不用我们考虑性能的问题，接下来将主要介绍RedisSink 如何使用
Java 大视界 -- Java 大数据性能监控与调优：全链路性能分析与优化（十五）
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破CSDN排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
01-07 2896
本文开篇以星际探险回顾引入，详述性能问题危害、全链路剖析，展示 Java 监控工具、自定义指标，详解代码与资源调优策略，展望未来，结合震撼案例、实用代码助力从业者掌握前沿技术。
flink维表关联系列之Redis维表关联：实时查询
雾岛与鲸的博客
09-16 1537
在做维表关联如果要求低延时，即维表数据的变更能够被立刻感知到，所以就要求在查询时没有缓存策略，直接查询数据库维表信息。 本篇以实时查询redis为例，要求redis 客户端支持异步查询，可以使用io.lettuce包，支持redis不同模式：单点模式、sentinel模式、集群模式，需要在pom中引入： <dependency> <groupId>io.lettuce</groupId> <artifactId>lettuce-core</artif
轻松通关Flink第34讲：Flink 和 Redis 整合以及 Redis Sink 实现
sucaiwa的博客
03-29 3794
这节课我们学习了 Flink 计算 PV、UV后的结果分别写入 Redis、MySQL 和 HBase。我们在实际业务中可以选择使用不同的目标库，你可以在本文中找到对应的实现根据实际情况进行修改来使用。
flink入门3-Flink连接Kafka、Redis，实现Kafka Source/Redis Sink
summon的博客
06-07 2666
本篇文章将会一步步实现如何使用Flink对接Kafka和Redis，并将Kafka中的数据存储到Redis中，这种场景也是真实项目会遇到的。下载链接：http://archive.apache.org/dist/kafka/此处我下载的版本是kafka_2.12-3.2.0，这个版本需要将参数替代原先的参数，否则执行命令会报错： 1.2 启动内置Zookeeper 1.3 启动Kafka 1.4 常用Kafka指令 创建topic 删除topic 查看所有的topic 向topic中
flink-connector-redis_2.11-1.1.5.jar
08-09
flink连接redis设置过期时间和密码
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。        通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 bootstrap.server=192.168.204.210:9092,192.168.204.211:9092,192.168.204.212:9092 group.id=testGroup auto.offse
Flink接入Redis
qq_27642017的博客
06-08 462
创建Redis连接池 RedisUtils 写入数据到Redis，可根据自己的需求使用Redis存储类型，我这里写的是list集合
《高级》Flink异步io链接Redis--Java和Scala版
huzechen的博客
08-21 3160
最近发现好多小伙伴不知道如何异步链接redis 我准备了两个版本 java版本和scala版本 直接上代码，大部分同学看了应该会懂 刚开始学习flink的同学中间细节的东西，不明白的可以微信联系我，可以进入我的flink微信交流群。 喜欢flink的朋友，支持一下原创，可以关注我的公众号： 先看java版本 import com.alibaba.fastjson....
Flink 系例 之 Connectors 连接 Redis
不会飞的小龙人的博客
01-31 2022
通过使用 Flink DataStream Connectors 数据流连接器连接到 Redis 缓存数据库，并提供数据流输入与输出操作；
重写代码实现Flink连接Redis集群（Java版，解决Flink无法连接私有IP Redis集群问题）
天然玩家的博客
07-16 1982
（1）第三方Redis连接工具[bahir](https://bahir.apache.org/docs/flink/current/flink-streaming-redis)使用InetSocketAddress配置Redis集群节点IP和PORT，无法连接私有IP的Redis集群； （2）重写连接Redis集群代码，直接通过HostAndPort方式设置节点IP和PORT，保证私有的IP同样可以连接Redis集群； （3）Flink原生不支持Redis连接，执行Redis相关类型任务需要将Redis相
Flink自定义Connector
阿甘兄
04-12 3602
文章目录01 引言02 Connector概述2.1 Metadata - 元数据模块2.2 Planning - 规划模块2.3 Runtime - 运行时模块03 Connector相关API3.1 Dynamic Table Factories - 动态表工厂3.2 Dynamic Table Source - 动态表源3.2.1 Scan Table Source - 扫描表源3.2.2 Lookup Table Source - 查找表源3.3 Dynamic Table Sink - 动态表接
Flink（63）：Flink中通用RedisUtil工具类
yang_shibiao的博客
01-03 2306
在使用SpringBoot后端开发中，我们如果需要对Redis进行增删查改，可以很方便的使用RedisTemplate或者StringRedisTemplate等对象进行操作。但是在大数据中，如果想要对Redis进行操作，就没有那么方便，特别当flink新一代流式计算框架兴起后，没有直接读取和写入Redis的连接源，不管是开始的时候从Redis中获取数据，还是在中间需要读取维度数据，或者最后将数据写入到Redis，都不方便。此时一个较为方便的工具类就能很方便的使用，能达到节省开发时间、减小开发难度等目的。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据与算法架构提升之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值