一、CCR介绍
CCR(Cross Cluster Replication) 是跨级群数据同步,能够在库/表级别将源集群的数据变更同步到目标集群,可用于在线服务的数据可用性、隔离在离线负载、建设两地三中心。CCR 通常被用于容灾备份、读写分离、集团与公司间数据传输和隔离升级等场景。
CCR 工具主要依赖一个轻量级进程:Syncers。Syncers 会从源集群获取 binlog,直接将元数据应用于目标集群,通知目标集群从源集群拉取数据。从而实现全量和增量迁移。
1.1使用约束
- 网络约束:需要 Syncer 与上下游的 FE 和 BE 都是通的;下游 BE 与上游 BE 是通的。
- ThriftPool 限制:开大 thrift thread pool 大小,最好是超过一次 commit 的 bucket 数目大小
- 版本最低要求:v2.0.3
二、实现跨集群数据同步
2.1 部署源、目标doris集
2.2 打开集群binlog
# 在源集群和目标集群的 fe.conf 和 be.conf 中配置如下信息:</