Sqoop学习数据导入(附：中文文档)

最新推荐文章于 2021-02-03 07:04:08 发布

Jecky不姓码

最新推荐文章于 2021-02-03 07:04:08 发布

阅读量356

点赞数

CC 4.0 BY-SA版权

分类专栏： Sqoop 文章标签： sqoop

本文链接：https://blog.csdn.net/weixin_29057619/article/details/110110535

Sqoop 专栏收录该内容

2 篇文章

订阅专栏

本文提供Sqoop中文文档转载连接，因导入文档有疑问，查询资料供学习。包含使用查询语句完成全表导入、对'sqoop导入数据'–query搭配 $ CONDITIONS''的理解等内容，还附带查询表、数据库及将表导入Hive等执行语句。

Sqoop文档转载连接：Sqoop中文文档

因为在导入文档的时候有一些疑问，sqoop导入要求必须使用$CONDITIONS，于是就查了以下资料提供学习：

参考文档:

使用查询语句完成全表导入

sqoop导入数据’’–query搭配 $ CONDITIONS’'的理解

Sqoop–Free-form Query Imports 自由查询模式下$CONDITIONS关键字的作用

附带一些执行语句

1、查询某个库中有什么表：

sqoop list-tables -connect jdbc:mysql://hadoop103:3306/gmall -username root -password 123456

2、查询mysql中有什么数据库

sqoop list-databases -connect jdbc:mysql://hadoop103:3306/gmall -username root -password 123456

3、将表导入到Hive中，如果Hive中没有该表，则自动创建该表

sudo -u hive sqoop import \
--connect jdbc:mysql://hadoop103:3306/gmall \
--username root \
--password 123456 \
--target-dir /oridata/db/2020-11-25 \
--delete-target-dir \
--query "select * from activity_info where 1=1 and  \$CONDITIONS" \
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'