hdfs跨集群数据迁移

最新推荐文章于 2024-07-11 22:44:00 发布

夜空07

最新推荐文章于 2024-07-11 22:44:00 发布

阅读量647

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据运维文章标签： hadoop hdfs

本文链接：https://blog.csdn.net/weixin_38655836/article/details/92838702

大数据运维专栏收录该内容

12 篇文章

订阅专栏

博客介绍了Hadoop相关配置，设置资源池队列mapred.job.queue.name为“root.zm_yarn_pool.production”，因使用kerberos认证需设置ipc.client.fallback-to-simple-auth-allowed为true，还给出了hadoop distcp命令进行HDFS数据复制的示例。

mapred.job.queue.name=“root.zm_yarn_pool.production” 设置资源池队列
ipc.client.fallback-to-simple-auth-allowed=true 由于使用了kerberos认证，需要设置改属性

hadoop distcp -Dmapred.job.queue.name=“root.zm_yarn_pool.production” -D ipc.client.fallback-to-simple-auth-allowed=true -i -overwrite hdfs://172.xx.xxx.xx:9000/user/hive/warehouse/behavior.db/student_rec_product hdfs://nameservice1/user/hive/warehouse/behavior.db/student_rec_product