DataX 的使用

最新推荐文章于 2025-07-09 17:07:10 发布
最新推荐文章于 2025-07-09 17:07:10 发布
阅读量5.7k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwyoozwz/article/details/125379112

一、DataX 的部署

1、上传 datax 压缩包并解压

tar -zxvf datax.tar.gz -C /usr/local/soft/

2、自检，执行命令（在datax目录下）

[root@master datax]# python ./bin/datax.py ./job/job.json

安装成功

二、DataX 的使用

MySQL写入MySQL 

1、生成模板命令

[root@master datax]# python ./bin/datax.py -r mysqlreader -w mysqlwriter

2、根据读写的数据源，获取json模板；可根据官网修改 json 完成数据的同步 

{
	"job": {
		"content": [{
			"reader": {
				"name": "mysqlreader",
				"parameter": {
					"column": [
						"id",
						"name",
						"age",
						"gender",
						"clazz",
						"last_mod"
					],
					"connection": [{
						"jdbcUrl": ["jdbc:mysql://master:3306/student"],
						"table": ["student"]
					}],
					"password": "123456",
					"username": "root"
				}
			},
			"writer": {
				"name": "mysqlwriter",
				"parameter": {
					"column": [
						"id",
						"name",
						"age",
						"gender",
						"clazz",
						"last_mod"
					],
					"connection": [{
						"jdbcUrl": "jdbc:mysql://master:3306/student2?useUnicode=true&characterEncoding=utf8",
						"table": ["student2"]
					}],
					"preSql": [
						"truncate table student2"
					],
					"password": "123456",
					"username": "root",
					"writeMode": "insert"
				}
			}
		}],
		"setting": {
			"speed": {
				"channel": "5"
			}
		}
	}
}

3、执行

[root@master dataxjsons]# datax.py mysql2mysql.json

MySQL写入HDFS 

 1、生成模板

[root@master dataxjsons]# python /usr/local/soft/datax/bin/datax.py -r mysqlreader -w hdfswriter

2、修改

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": ["*"], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://master:3306/student"], 
                                "table": ["student"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root"
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
                        {
                                "name": "col1",
                                "type": "int"
                            },
                            {
                                "name": "col2",
                                "type": "String"
                            },
                            {
                                "name": "col3",
                                "type": "int"
                            },
                            {
                                "name": "col4",
                                "type": "String"
                            },
                            {
                                "name": "col5",
                                "type": "String"
                            },
                            {
                                "name": "col6",
                                "type": "Date"
                            }
                        ],  
                        "defaultFS": "hdfs://master:9000", 
                        "fieldDelimiter": ",", 
                        "fileName": "msql2hdfs", 
                        "fileType": "text", 
                        "path": "/shujia/bigdata17/datax/", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

3、执行

[root@master dataxjsons]# datax.py mysql2hdfs.json

MySQL同步数据到Hive 

1、hive建表

CREATE EXTERNAL TABLE IF NOT EXISTS student2(
    id BIGINT,
    name STRING,
    age INT,
    gender STRING,
    clazz STRING,
    last_mod STRING
)
comment '学生表'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE 

 2、生成模板

[root@master dataxjsons]# python /usr/local/soft/datax/bin/datax.py -r mysqlreader -w hdfswriter

 3、修改

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": ["*"], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://master:3306/student"], 
                                "table": ["student"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root"
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
                        {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "age",
                                "type": "INT"
                            },
                            {
                                "name": "gender",
                                "type": "string"
                            },
                            {
                                "name": "clazz",
                                "type": "string"
                            },
                            {
                                "name": "last_mod",
                                "type": "string"
                            }
                        ], 
                        "defaultFS": "hdfs://master:9000", 
                        "fieldDelimiter": ",", 
                        "fileName": "student2", 
                        "fileType": "text", 
                        "path": "/user/hive/warehouse/bigdata17.db/student2/", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

4、执行

[root@master dataxjsons]# datax.py mysql2hive.json

向Hive中同步数据，即向HDFS上Hive表目录下同步数据 

增量同步，可在where后添加条件（"where": "id > 7"）

Mysql向HBase同步数据 

1、hbase创建表

hbase(main):003:0> create 'datastudent','info' 

 2、生成模板

[root@master dataxjsons]# python /usr/local/soft/datax/bin/datax.py -r mysqlreader -w hbase11xwriter

3、修改

{
	"job": {
		"content": [{
			"reader": {
				"name": "mysqlreader",
				"parameter": {
					"column": [
						"id",
						"name",
						"age",
						"gender",
						"clazz",
						"last_mod"
					],
					"connection": [{
						"jdbcUrl": ["jdbc:mysql://master:3306/student"],
						"table": ["student"]
					}],
					"password": "123456",
					"username": "root"
				}
			},
			"writer": {
				"name": "hbase11xwriter",
				"parameter": {
					"column": [{
							"index": 1,
							"name": "info:name",
							"type": "string"
						},
						{
							"index": 2,
							"name": "info:age",
							"type": "int"
						},
						{
							"index": 3,
							"name": "info:gender",
							"type": "string"
						},
						{
							"index": 5,
							"name": "info:last_mod",
							"type": "string"
						}
					],
					"encoding": "utf-8",
					"hbaseConfig": {
						"hbase.zookeeper.quorum": "master:2181,node1:2181,node2:2181"
					},
					"mode": "normal",
					"rowkeyColumn": [{
							"index": 0,
							"type": "string"
						},
						{
							"index": -1,
							"type": "string",
							"value": "_"
						},
						{
							"index": 4,
							"type": "string"
						}
					],
					"table": "datastudent"
				}
			}
		}],
		"setting": {
			"speed": {
				"channel": "5"
			}
		}
	}
}

4、执行

[root@master dataxjsons]# datax.py mysql2hbase.json

HBase同步数据到MySQL 

1、生成模板

python /usr/local/soft/datax/bin/datax.py -r hbase11xreader -w mysqlwriter

2、修改

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hbase11xreader", 
                    "parameter": {
                        "column": [
                        {
                                "name": "rowkey",
                                "type": "string"
                            },
                            {
                                "name": "info: name",
                                "type": "string"
                            },
                            {
                                "name": "info: age",
                                "type": "int"
                            },
                            {
                                "name": "info: gender",
                                "type": "string"
                            },
                            {
                                "name": "info: last_mod",
                                "type": "string"
                            },
                        ], 
                        "encoding": "utf-8", 
                        "hbaseConfig": {
                            "hbase.zookeeper.quorum": "master:2181,node1:2181,node2:2181"
                        }, 
                        "mode": "normal", 
                        "table": "datastudent"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                        "id",
                        "name",
                        "age",
                        "gender",
                        "last_mod"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/student?useUnicode=true&characterEncoding=utf8", 
                                "table": ["student_copy1"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

3、执行

[root@master dataxjsons]# datax.py hbase2mysql.json

可在MySQL中查看从hbase同步过来的数据 

boyzwz
关注
DataX使用指南
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
【DataX】使用案例和原理分析
weixin_44823875的博客
03-07 1万+
DataX是阿里巴巴开源的一个异构数据源离线同步工具，用于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。任务提交命令：用户需要根据同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行命令提交数据同步任务即可。
DataX（一）、入门
最新发布
qq_43457781的博客
07-09 625
DataX支持单机多线程模式完成同步作业运行，下列是一个作业周期的时序图。DataX完成单个数据同步的作业(数据库A数据同步到数据库B)称为Job。将启动一个进程来完成整个作业同步过程。Job模块是单个作业的中枢管理节点，承担了数据清洗、子任务切分(将单一作业计算转换为多个子Task)、TaskGroup管理等功能。Job启动后，回根据不同的源端切分策略，将Job切分成多个小的Task（子任务），以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据同步工作。
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
datax介绍及使用
09-07
datax之mysqlto mysql d
DataX的使用与介绍（1）
qq_42559628的博客
09-06 1894
一、什么是DataX？ DataX是阿里云商用产品DataWorks数据集成的开源版本，它是一个异构数据源的离线数据同步工具/平台（ETL工具）。DataX实现了包括Mysql，Oracle、OceanBase、Sqlserver，Postgre、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能。 Tips:异构即不同类型的应用或者数据源，例如Mysql/Oracle/DB2/MongD
DataX的使用
热门推荐
S无影者的博客
06-01 2万+
DataX使用指南1、 DataX3.0概览  DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能，如图1-1所示。图1-1 DataX的应用数据库范围DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，具体...
datax使用python3的替换bin文件
01-05
在这个场景中，“datax使用python3的替换bin文件”指的是将DataX中的默认执行脚本（bin文件）替换为Python3版本的脚本，以适应Python环境下的数据处理逻辑。 首先，了解DataX的基本架构和工作原理是必要的。DataX...
Linux中DataX使用第一期
秉承初心博客
01-17 656
DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括等各种异构数据源之间高效的数据同步功能。DataX工具已经能处理一般的业务需求，但了解原理才能看的更宽广，下期内容更精彩。
DataX使用测试数据csv
04-21
自己博客上用到的数据
Linux中DataX使用第四期
秉承初心博客
02-21 774
紧接着上期关于定义如何一个简单的插件，本期了解下关系型数据库的数据读取和数据写入。这段代码的主要功能是从数据库中读取数据，并通过性能跟踪记录查询和读取过程的时间。它使用了JDBC来连接和查询数据库，并通过发送读取到的记录。代码中还包含了异常处理和资源释放的逻辑，确保在发生异常时能够正确处理并释放数据库连接。这段代码的主要目的是从中读取记录读取数据，然后按照配置的批量大小和字节数，将数据写入目标数据库。对于关系型数据库DataX基本能实现，如果有定制化需求可以通过对上面的代码模块进行复制后改造来实现。
Java通过python命令执行DataX任务
12-19
Java调用控制台python命令(含传递参数)执行DataX的job任务，mysql向odps同步数据。
图解DataX执行流程.pdf
08-17
datax执行流程,比较详细的解读datax的扭转过程.相关的githup地址https://github.com/alibaba/DataX
dataX3.0安装使用手册
10-20
dataX3.0安装使用手册
java调用shell向DataX传参，带where条件，特殊字符
08-16
java调用shell命令，在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块，有时间可以自己试； 没时间可以用我的经验，自己选择；
datax使用jar包进行传输
07-09
在这个场景下，我们关注的是使用Java JAR包来执行DataX任务，以实现ClickHouse数据库的数据读取和写入操作。以下是关于DataX、Java JAR包以及ClickHouse集成的详细知识点： 1. **DataX介绍**： - DataX是阿里巴巴...
DataX简介及使用
weixin_42771366的博客
10-23 1880
DataX使用 DataX同步Oracle数据到hive DataX
可视化工具Datax-web使用教程
xiao_ying_bo_ke的博客
04-15 3493
Datax web 使用教程
阿里云开源离线同步工具DataX3.0介绍
weixin_34393428的博客
08-24 3961
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星...
datax使用指南
06-11
<think>嗯，用户再次明确了需求：需要DataX的使用指南和操作说明，特别提到了部署与使用教程。结合之前的对话历史，我已经提供了安装部署的完整流程，现在需要聚焦在实际操作层面。用户可能是个刚接触DataX的数据工程师或运维人员，ta的真实需求可能不止基础操作，更想了解如何应对实际生产环境中的问题。从ta两次提问的连贯性看，应该是在搭建数据同步平台，可能需要从MySQL这类关系型数据库同步到大数据平台。注意到引用内容里提到了DataX的核心架构和模块分工，特别是datax-core、datax-job、datax-web这些组件[^3]。这些信息很重要，因为用户如果要做企业级部署，可能需要web管理界面而非命令行操作。需要重点展开的部分：1任务配置示例必须实用，比如MySQL到Hive的同步配置要包含分页参数和字段映射2性能调优部分要给出具体参数修改示例，像channel/chunkSize的取值逻辑3错误处理要直击痛点，比如网络中断后的续传方案对了，用户上次提到的DataX与实时工具对比问题其实很有价值，这次可以放在相关问题里引申，这对技术选型很有帮助。另外考虑到用户环境，所有示例都要强调中文编码的处理技巧。最后组织信息时得注意：操作指南必须像烹饪步骤一样明确。比如创建任务目录这种细节，新手可能因目录权限问题卡住，得提醒chmod命令的使用。</think> 以下是DataX的完整使用指南及操作教程，结合官方文档和最佳实践： --- ### 一、部署验证（接续安装流程） 1. **环境检查** ```bash # 确认Python版本 python -V # 需为2.7.x # 验证Java环境 echo $JAVA_HOME && java -version ``` 2. **运行内置测试** ```bash cd /opt/datax/bin python datax.py ../job/job.json # 执行内存流同步测试 ``` *成功输出示例*： ```plaintext Total 100000 records, 2600000 bytes | Average 1.38 MB/s Task end status: SUCCESS [^1] ``` --- ### 二、核心操作指南 #### 1. **基础任务配置** 模板示例（MySQL → MySQL）： ```json { "job": { "content": [{ "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "******", "connection": [{ "jdbcUrl": ["jdbc:mysql://src_host:3306/db1"], "table": ["users"] }], "column": ["id","name","email"], "where": "create_time > '2023-01-01'" } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "admin", "password": "******", "connection": [{ "jdbcUrl": "jdbc:mysql://dest_host:3306/db2", "table": ["user_backup"] }], "column": ["id","full_name","contact"] } } }], "setting": { "speed": { "channel": 4 // 并发通道数 } } } } ``` #### 2. **执行同步任务** ```bash python datax.py /path/to/your_job.json ``` #### 3. **高级参数配置 | 配置项 | 作用 | 示例值 | |------------------|-------------------------------|---------------| | errorLimit | 允许的最大错误记录数 | {"record": 5} | | speed.byte | 流量限制（字节/秒） | 1048576 | | dryRun | 预检模式（不执行写入） | true | --- ### 三、生产级实践 #### 1. **性能优化技巧** - **增加并发**：修改`channel`数（建议=源数据库连接池上限） - **分批读取**：添加`splitPk`实现分片并行 ```json "reader": { "parameter": { "splitPk": "id", // 按主键分片 "querySql": ["SELECT * FROM orders WHERE id BETWEEN $1 AND $2"] } } ``` #### 2. **断点续传方案** 1. 启用`isResume`标志 2. 配置断点记录目录 ```json "core": { "transport": { "resume": { "isResume": true, "path": "/data/datax/resume_logs/" } } } ``` #### 3. **错误诊断方法 查看详细日志： ```bash tail -f /opt/datax/log/2023-xx-xx_xx.log ``` *常见错误处理*： ```plaintext Connection timed out → 增加数据库超时参数 ERROR Code:[DBUtilErrorCode-10] → JDBC驱动版本不匹配 ``` --- ### 四、扩展应用 #### 1. 集成DataX-Web管理平台 ```bash # 基于引用[3]部署管理界面 git clone https://github.com/WeiYe-Jing/datax-web cd datax-web && mvn package ``` *功能优势*： - 可视化任务配置 - 实时监控同步流量 - 自动生成执行报告[^3] #### 2. 自定义插件开发 1. 实现`Reader`/`Writer`接口 2. 打包放入`plugin`目录 3. 注册至`plugin.json`配置文件 --- > **关键说明** > - 中文路径支持：在`datax.py`添加`JAVA_OPTS="-Dfile.encoding=UTF-8"` > - 内存调整：修改`bin/datax.py`中的`-Xms4096m -Xmx8192m`[^2] > - 插件库更新：定期从[DataX GitHub](https://github.com/alibaba/datax)获取新插件
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值