ETL数据同步之DataX，附赠一套DataX通用模板

今天跟大家分享数据同步datax的模板，小伙伴们简单直接借鉴使用。

还记得上一篇关于大数据DS调度工具的分享嘛？

主流大数据调度工具DolphinScheduler之数据ETL流程-CSDN博客

里面的核心就是采用了DATAX的数据同步原理。

一，什么是DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、HDFS、Hive、ADS、HBase、Kingbase 等各种异构数据源之间的数据同步功能。

二，DataX模板

这个模板是把hive的表数据同步到kingbase数据库。

如果你要操作其他数据库之间的同步，可以借鉴，都一样。

这个模板怎么来的？？

当然是上次成功调度数据实现同步，从日志中copy来的。

所以，正确性大家毋庸置疑。

如图，JSON里包括两个对象，

一个是content（包括了reader，writer ，connection 等等），

一个是setting。

注意这里的写入模式 writemode 是 upddate，

这里就是在（人大金仓数据库）该表设置的主键。