flink轮询写入local节点

原创已于 2022-02-26 22:38:41 修改 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #big data

于 2022-02-26 11:11:49 首次发布

flink 专栏收录该内容

25 篇文章

订阅专栏

这篇博客详细介绍了如何通过SQL查询从分布式表中解析数据库、表和集群名称，并获取集群的所有IP地址。接着，它展示了如何遍历这些IP地址并将数据插入到本地表中，涉及到了数据库管理和分布式系统操作的相关知识。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.通过分布式表解析数据库名字、local表名、对应集群名称

SELECT engine_full FROM system.tables WHERE database = ? AND name = ?

 String cluster = matcher.group("cluster");
                        String database = matcher.group("database");
                        String table = matcher.group("table");

2.获取集群所有IP地址

SELECT shard_num, host_address, port FROM system.clusters WHERE cluster = ? and replica_num = 1 ORDER BY shard_num ASC

 String host = rs.getString("host_address");
                    int port = getActualHttpPort(host, rs.getInt("port"));
                    urls.add("clickhouse://" + host + ":" + port);

3.通过for去轮询所有得到的IP地址插入到对应的local表