MaxCompute数据迁移至OTS

最新推荐文章于 2025-09-07 20:32:33 发布

segwyang

最新推荐文章于 2025-09-07 20:32:33 发布

阅读量843

点赞数 23

CC 4.0 BY-SA版权

文章标签： odps java 前端

本文链接：https://blog.csdn.net/segwyang/article/details/143889341

本文为您介绍如何将MaxCompute数据迁移至表格存储OTS（Table Store）。

前提条件

开通MaxCompute和DataWorks。
开通DataWorks。
在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见创建业务流程。

操作步骤

在DataWorks上创建表。
1. 登录DataWorks控制台。
2. 在左侧导航栏，单击工作空间列表。
3. 单击相应工作空间操作列的快速进入 > 数据开发。
4. 右键单击已创建的业务流程，选择新建 > MaxCompute > 表。
5. 在新建表页面，选择引擎类型并输入表名称。
6. 在表的编辑页面，单击DDL模式。
7. 在DDL对话框，输入如下建表语句，单击生成表结构。
```
create table Transs
(name    string,
id    bigint,
gender    string);
```
8. 单击提交到生产环境。
为表Transs导入数据。
1. 在数据开发页面，单击
  
  图标。
2. 在数据导入向导对话框，至少输入3个字母来搜索需要导入数据的表，单击下一步。
3. 选择数据导入方式为上传本地数据，单击选择文件后的浏览...。选择本地数据文件，配置导入信息。
  
  示例数据如下。
```
qwe,145,F
asd,256,F
xzc,345,M
rgth,234,F
ert,456,F
dfg,12,M
tyj,4,M
bfg,245,M
nrtjeryj,15,F
rwh,2344,M
trh,387,F
srjeyj,67,M
saerh,567,M
```
4. 单击下一步。
5. 选择目标表字段与源字段的匹配方式。
6. 单击导入数据。
在表格存储控制台上创建表。
1. 登录表格存储控制台，创建实例。详情请参见创建实例。
2. 创建数据表Trans。详情请参见创建数据表。
在DataWorks中新增数据源。
1. 登录DataWorks控制台。
2. 在左侧导航栏，单击工作空间列表。
3. 单击相应工作空间操作列的快速进入 > 数据集成。
4. 在左侧导航栏上，单击数据源，进入数据源管理页面。
5. 单击新增数据源，并选择数据类型为MaxCompute。
6. 在新增MaxCompute数据源对话框中配置参数，并单击完成。详情请参见配置MaxCompute数据源。
7. 新增OTS数据源，详情请参见配置OTS数据源。

配置MaxCompute（ODPS）Reader和表格存储（OTS）Writer。

进入数据开发页面，右键单击指定业务流程，选择新建节点 > 数据集成 > 离线同步。
在新建节点对话框中，输入节点名称，并单击确认。
在顶部菜单栏上，单击

图标。
在脚本模式下，单击顶部菜单栏上的

图标。
在导入模板对话框中选择来源类型、数据源、目标类型及数据源，并单击确定。

修改JSON代码后，单击

图标。

代码如下。

{
    "type": "job",
    "steps": [
        {
            "stepType": "odps",
            "parameter": {
                "partition": [],
                "datasource": "odps_first",
                "column": [
                    "name",
                    "id",
                    "gender"
                ],
                "table": "Transs"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "Transs",
                "column": [
                    {
                        "name": "Gender",
                        "type": "STRING"
                    }
                ],
                "writeMode": "UpdateRow",
                "table": "Trans",
                "primaryKey": [
                    {
                        "name": "Name",
                        "type": "STRING"
                    },
                    {
                        "name": "ID",
                        "type": "INT"
                    }
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": false,
            "concurrent": 1,
            "dmu": 1
        }
    }
}