Datax解决MySQL抽数到HDFSNULL变为空字符

问题描述

MySQL抽数到HDFSNULL变为空字符

原因分析：

HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。

解决方案：

一是修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑:参考https://blog.csdn.net/u010834071/article/details/105506580
二是在Hive中建表时指定null值存储格式为空字符串（‘’）
添加: NULL DEFINED AS ‘’

DROP TABLE IF EXISTS base_province;
CREATE EXTERNAL TABLE base_province
(
    `id`         STR