sqoop将hive中数据导入mysql并且更新msql字段

最新推荐文章于 2025-05-29 08:42:27 发布

原创最新推荐文章于 2025-05-29 08:42:27 发布 · 758 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop

本文详细介绍了使用Sqoop工具进行数据迁移的具体操作流程，包括从HDFS到MySQL的数据导出和导入过程，以及如何通过执行SQL语句进行数据清理和标记。通过一系列的命令展示，读者可以了解到Sqoop在实际数据迁移场景中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop eval \
--connect jdbc:mysql://127.0.0.0:3306/dbname?characterEncoding=UTF-8 \
--username rooot\
--password root\
--query "delete from tablename" \

sqoop export \
-D mapred.job.queue.name=data_platform \
--connect jdbc:mysql://127.0.0.0:3306/dbname?characterEncoding=UTF-8 \
--username rooot\
--password root\
--table tablesname\
--columns 'job_type_id,qz_total_score,jz_total_score,user_id,real_name,gender,degree,birth_date,age,ca_source,last_visit_time,
active_value,job_hunting_status,mobile,data_generate_date,prefer_city_area,work_experience,work_years,city_id,job_type_category_id,industry_id,industry_name,prefer_city_id,prefer_job_type_id,job_date_type,activate_source,identify,is_realtime' \
--export-dir /user/hive/warehouse/smile.db/zpt_chonggou_new/dt=$V_DT/job_type=10 \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-string '-' \
--input-null-non-string '\\N' \
--input-null-non-string '-' \
-m 10
sqoop eval \
--connect jdbc:mysql://127.0.0.0:3306/dbname?characterEncoding=UTF-8 \
--username rooot\
--password root\
--query "update tablename set mark=concat($today,'_',id,'_',1)"