Flink 读写Doris

flink sink doris

最近在工作中遇到了Flink处理kafka中的数据，最后写入Doris存储的场景。Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库，以高效、简单、统一的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。

flink + doris 实时数仓

​ Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。可以将 Doris 表映射为 DataStream 或者 Table。

本来介绍Flink Doris connector 通过 DataStream API 读写 Apache Doris

读取Doris数据的N种方法

Apache Flink 是一个用于处理无界和有界数据的开源流处理框架，而 Apache Doris（以前称为 DorisDB 或 Palo）是一个现代化的实时分析型数据库。Flink Doris Connector 允许你在 Flink 作业中读取和写入 Doris 数据库。以下是一个基本示例，展示如何使用 Flink Doris Connector 进行数据读取和写入操作。假设你已经安装并配置好了 Flink 和 Doris，并且已经添加了 Flink Doris Connector 的依赖。

代码】FlinkConnector获取Doris数据。

原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。

【代码】Dinky FlinkSQL Doris读取写入。

这次我们演示的是整合Flink Doris Connector 到 Flink 里使用，通过Flink Kafka Connector，通过SQL的方式流式实时消费Kafka数据，利用Doris Flink Connector将数据插入到Doris表中。 这里的演示我们是用过Flink SQL Client来进行的， 1. 准备条件 这里我们使用的环境是 Doris-0.14.7 doris-flink-1.0-SNAPSHOT.jar，这个可以自己去编译 Flink-1.12.5 flink

目标：在Flink代码里面支持对doris的读写操作，Flinksqlondoris，将flinksql作为计算引擎。 1，参考：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/sourceSinks.html#full-stack-example 2， ...

1，文档 Name: 'STREAM LOAD' Description: NAME: stream-load: load data to table in streaming SYNOPSIS curl --location-trusted -u user:passwd [-H ""...] -T data.file -XPUT http://fe_host:http_port/api/{db}/{table}/_stream_load ...

DorisSink是通过StreamLoad向Doris写入数据，DataStream写入时，支持不同的序列化方法。setLabelPrefix：Stream load导入使用的label前缀。2pc场景下要求全局唯一 ，用来保证Flink的EOS语义。特殊字符作为分隔符：'sink.properties.escape_delimiters' = 'true'自定义字符串列分隔符：sink.properties.column_separator' = ', '如果是JSON格式导入需要加2个配置项。

本文介绍 Flink SQL如何流式写入 Apache Doris

Flink：Doris