sqoop导出脚本

最新推荐文章于 2024-10-24 22:35:07 发布

都教授2000

最新推荐文章于 2024-10-24 22:35:07 发布

阅读量354

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： sqoop

本文链接：https://blog.csdn.net/u013727054/article/details/106442763

大数据专栏收录该内容

83 篇文章

订阅专栏

本文介绍了一种使用Sqoop工具从Hive数据库导出数据到MySQL的方法。通过shell脚本自动化这一过程，确保了数据迁移的准确性和效率。脚本涵盖了连接配置、字段终止符设定、更新模式和空值处理等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/bash

if [ $1 ];
then
export hive_db_name=$1
else
echo “请指定要导出的源数据库”
exit 1
fi

if [ $2 ];
then
export hive_t_name=$2
else
echo “请指定要导出的源表名”
exit 1
fi

if [ $3 ];
then
export mysql_db_name=$3
else
echo “请指定目标数据库”
exit 1
fi

echo "这是一个通用的数据导出脚本...,手动创建目标表并保持和源表同名"

export_data() {
/root/module/sqoop/bin/sqoop export \
--connect "jdbc:mysql://192.168.0.201:3306/${mysql_db_name}?useUnicode=true&characterEncoding=utf-8"  \
--username root \
--password ****** \
--table $1 \
--num-mappers 1 \
--export-dir /warehouse/$hive_db_name/ads/$1 \
--input-fields-terminated-by "\t" \
--update-mode allowinsert \
--update-key $2 \
--input-null-string '\\N'    \
--input-null-non-string '\\N'
}

export_data "$hive_t_name" "dt"