Sqoop导入的字段分隔符（record delimiters）和行分隔符（row delimiters）问题

Sqoop从oracle导入数据到hive，示例：

sqoop import --connect jdbc:oracle:thin:@oracle-host:port:orcl --username name--password passwd --hive-import -table tablename  

这样问题就来了，如果导入的数据中有'\n'，hive会认为一行已经结束，后面的数据被分割成下一行。这种情况下，导入之后hive中数据的行数就比原先数据库中的多，而且会出现数据不一致的情况。

Sqoop也指定了参数 --fields-terminated-by和 --lines-terminated-by来自定义行分隔符和列分隔符。

可是当你真的这么做时.........o(╯□╰)o就会出现如下错误：

INFO hive.HiveImport: FAILED: SemanticException 1:381 LINES TERMINATED BY only supports newline '\n' right now.  

简单的解决办法就是加上参数--hive-drop-import-delims来把导入数据中包含的hive默认的分隔符去掉。

Sqoop有两个参数用来处理数据中存在\0x01 (\n\r)这两个字符，如下：

--hive-delims-replacement <arg>             Replace Hive record \0x01

                                                                 and row delimiters (\n\r)

                                                                 from imported string fields

                                                                 with user-defined string

--hive-drop-import-delims                        Drop Hive record \0x01 and

                                                                row delimiters (\n\r) from

                                                                imported string fields

这两个配置项都是用来处理字段分隔符（或称列分隔符）和行分隔符的。

注：英文中字段分隔符称作record delimiters，行分隔符称作row delimiters

默认情况下：record delimiters是\0x01，这是16进制的1，等同于8进制的\001，（\0x01和\001对应ASCII同一个字符，只是进制不一样）。这个字符称作隐藏字符，打印出来的视觉效果与空格相同，但是相比空格或者“\t”的好处是，\0x01是无法从键盘输入的，所以保证了安全性，避免了由于数据中本身带有空格或者“\t”带来的尴尬。

但是如果数据中本身带有\0x01或者本身带有\n\r怎么办？虽然这些字符无法通过键盘输入，但是可以通过程序写入，比如Java代码如下：

如果record中本身就带有/0x01的时候就需要使用--hive-delims-replacement <arg>或者--hive-drop-import-delims两个配置项处理这些字符。（这两个配置项不能同时使用。）

--hive-delims-replacement <arg>：是将record中的/0x01和/r/n替换成<arg>

--hive-drop-import-delims：将record中的/0x01和/r/n去掉

参考文档：

http://blog.csdn.net/chaiyiping/article/details/40622507

https://www.cnblogs.com/rocky-AGE-24/p/7675164.html

http://blog.csdn.net/HoldBelief/article/details/79652073