安装DataX

一、概述

1.1 什么是DataX

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 。

1.2 DataX的设计

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

1.3 架构设计

Reader:数据采集模块，负责采集数据源的数据，将数据发送给FrameWork。
Writer:数据写入模块，负责不断向FrameWork取数据，并将数据写入到目的端
FrameWork：用于连接Reader和Writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题

1.4 运行原理

Job:单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理
Task:由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作
Schedule:将Task组成TaskGroup,单个TaskGroup的并发数量为5
TaskGroup:负责启动Task

二、入门

2.1 一些官方地址

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：https://github.com/alibaba/DataX

2.2 安装

1. 要求
   - Linux
   - JDK(1.8以上，推荐1.8)
   - Python(推荐Python2.6.X)
2. 将下载好的datax.tar.gz上传到lsl101的/opt/soft

[root@lsl101 soft]# ll | grep datax
datax.tar.gz

3. 解压datax.tar.gz 到/opt/module

[root@lsl101 soft]# tar -zxvf datax.tar.gz -C /opt/module/

4. 运行自检脚本

[root@lsl101 bin]# cd /opt/module/datax/bin/
[root@lsl101 bin]# python datax.py /opt/module/datax/job/job.json