Sqoop导出allowinsert、 updateonly和job免密执行

NeilVicia

已于 2022-06-19 22:35:03 修改

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

文章标签： hive hadoop big data sqoop

于 2021-11-24 15:35:23 首次发布

本文链接：https://blog.csdn.net/liuyongsheng666/article/details/121516960

本文介绍了如何使用Sqoop进行数据迁移，包括从MySQL数据库导出到HDFS，并设置了不同的更新模式（仅允许插入、只更新）。还展示了如何创建和执行Job任务，以及实现Job的免密执行，通过配置sqoop-site.xml文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

------------导出 export---- allowinsert updateonly ---------------------------
[root@gree139 tmp]# vi ./teacher.txt 

1,gree,jy,dsj
2,cat,leader,dsj

[root@gree139 tmp]# hdfs dfs -put ./teacher.txt /sqoop/exportdata/


[root@gree139 tmp]# sqoop export \
--connect jdbc:mysql://gree139:3306/mybatisdb \
--username root \
--password root \
--table teacher \
--export-dir /sqoop/exportdata/ \
--update-key id \
--update-mode allowinsert


[root@gree139 tmp]# sqoop export \
--connect jdbc:mysql://gree139:3306/mybatisdb \
--username root \
--password root \
--table teacher \
--export-dir /sqoop/exportdata2/ \
--update-key id \
--update-mode updateonly


[root@gree139 tmp]# sqoop export \
--connect jdbc:mysql://gree139:3306/mybatisdb \
--username root \
--password root \
--table teacher \
--export-dir /sqoop/exportdata3/ \
--update-key id \
--update-mode allowinsert

-----------job --------------------------------

sqoop job --create demojob -- import \
--connect jdbc:mysql://gree139:3306/mybatisdb \
--username root \
--password root \
--table student \
--delete-target-dir \
--target-dir /sqoop/job/ \
--m 1



[root@gree139 tmp]# sqoop job --list
[root@gree139 tmp]# sqoop job --exec demojob
[root@gree139 tmp]# sqoop job --delete demojob
[root@gree139 tmp]# sqoop job --show demojob





[root@gree139 tmp]# crontab -e
*/10 * * * * /opt/soft/sqoop146/bin/sqoop job --exec demojob

---------job 免密执行----------------------------------
[root@gree139 tmp]# vi /opt/soft/sqoop146/conf/sqoop-site.xml
<property>
   <name>sqoop.metastore.client.record.password</name>
   <value>true</value>
   <description>If true, allow saved passwords in the metastore.</description>
 </property>



echo -n "root" > mysqlpwd.pwd  将密码输出到mysqlpwd.pwd文件中
hdfs dfs -put ./mysqlpwd.pwd /mysql/
hdfs dfs -chmod 400 /mysql/mysqlpwd.pwd

sqoop job --create demojobmm -- import \
--connect jdbc:mysql://gree139:3306/mybatisdb \
--username root \
--password-file /mysql/mysqlpwd.pwd \
--table student \
--delete-target-dir \
--target-dir /sqoop/job2/ \
--m 1


sqoop job --exec demojobmm