DataX与DataX web入门

最新推荐文章于 2025-07-17 15:33:17 发布

`青冘`

最新推荐文章于 2025-07-17 15:33:17 发布

阅读量2.7k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/weixin_44154134/article/details/107482957

1.DataX3.0简介
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
在这里插入图片描述

设计理念
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
当前使用现状
DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了6年之久。目前每天完成同步8w多道作业，每日传输数据量超过300TB。

2.DataX3.0框架设计
DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

详情可参照官方文档说明：
https://github.com/alibaba/DataX/blob/master/introduction.md

3.dataX安装部署文档

推荐环境：
Linux
JDK(1.8以上，推荐1.8)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)
部署
方式1：直接下载DataX工具包
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

方式2：下载DataX源码，自己编译
https://github.com/alibaba/DataX
下载DataX源码：

$ git clone [email protected]:alibaba/DataX.git
通过maven打包：
$ cd  {
   
   DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
打包成功后的DataX包位于 {
   
   DataX_source_code_home}/target/datax/datax/

4.dataX示例
reader–MySQL
writer–HIVE

准备MySQL数据源表信息
hive中创建表结构
构建json文件，用于数据抽取

{
   
   
    "job": {
   
   
        "content": [
            {
   
   
                "reader": {
   
   
                    "name": "mysqlreader",
                    "parameter": {
   
   
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
   
   
                                "jdbcUrl": [
                                    "jdbc:mysql://100.73.13.37:3306/test"
                                ],
                                "table": [
                                    "datax"
                                ]
                            }
                        ],
                        "password": "datax",
                        "username": "datax"
                    }
                },
                "writer": {
   
   
                    "name": "hdfswriter",
                    "parameter": {
   
   
                        "column": [
                            {
   
   
                                "name": "id",
                                "type": "BIGINT"
                            },
                            {
   
   
                                "name": "test1",
                                "type": "VARCHAR"
                            },
                            {
   
   
                                "name": "test2",
                                "type": "INT"
                            },
                            {
   
   
                                "name": "test3",
                                "type": "INT"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://jxq-100-73-13-31:8020",