CDH大数据平台 25Cloudera Manager Console之sqoop实战测试(markdown新版)

已于 2022-11-13 17:27:53 修改
阅读量346 收藏 18
点赞数 23
CC 4.0 BY-SA版权
分类专栏： CDH # HIVE SQOOP 文章标签： 大数据 sqoop hive sentry bigdata
于 2022-11-06 05:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/walykyy/article/details/127708880
本文介绍了在CDH大数据平台上，通过Cloudera Manager Console使用sqoop进行实战测试的步骤，包括创建读写权限的文件夹、设置sentry用户权限、创建hive表、编写并执行sqoop脚本以及查看测试结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

💖个人主页：@与自己作战
💯作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主
🆘希望大佬们多多支持，携手共进
📝 如果文章对你有帮助的话，欢迎评论💬点赞👍收藏📂加关注
⛔如需要支持请私信我，💯必支持

文章目录

一、创建临时读写权限导入的文件夹

hdfs dfs -mkdir -p /user/username/importdir
hdfs dfs -setfacl -m default:user:hive:rwx /user/username/importdir
hdfs dfs -getfacl /user/username/importdir


                

                
                
        

         

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
CDH大数据平台 26Cloudera Manager Console之sqoop、azkaban调度作业实战(markdown新版)

				
			

			

				

					80后大叔爱学习
				

				

					11-08
					
					863
					
				

			

		

		

			
				
CDH大数据平台 25Cloudera Manager Console之sqoop、azkaban调度作业实战

			
		

	



                

            
              



	

		

			

				
					
CDH大数据平台 13Cloudera Manager Console FreeIPA 用户规划(markdown新版)

				
			

			

				

					80后大叔爱学习
				

				

					10-01
					
					798
					
				

			

		

		

			
				
freeIPA用户团队权限规划

			
		

	



              


  
              

                


	

		

			

				
					
SpringBoot集成Sqoop1.4.7实现从Mysql导入数据到HDFS

				
			

			

				

					ashzdw的博客
				

				

					10-10
					
					1695
					
				

			

		

		

			
				
这里写自定义目录标题背景介绍问题1：Sqoop1和Sqoop2有什么区别问题2：可以在Windows下运行吗？需要在Windows下安装Haddop吗问题3：无法下载org.apache.sqoop:sqoop:1.4.7问题4：log4j的依赖冲突问题5：执行本地MapReduce时遇到NoClassDefFoundError问题6： 程序包org.apache.hadoop.io不存在问题7：无权访问HDFS目录问题8：createBlockOutputStream错误问题9：sqoop无法连接MySQ

			
		

	





	

		

			

				
					
大数据道场(HDP SandBox) 初探

				
			

			

				

					我相信......
				

				

					09-27
					
					7895
					
				

			

		

		

			
				
这里的大数据道场是以HDP sandbox 为基础的，安装好了virtual box，导入了sandbox镜像之后，启动虚拟机，来看看我们的大数据道场吧。访问方式......文件传输......两句话简述hadoop 中的各种服务......

			
		

	



		

			
		



	

		

			

				
					
【初识大数据】1、大数据简介

				
			

			

				

					小卓仗剑走天涯的博客
				

				

					03-03
					
					257
					
				

			

		

		

			
				
文章目录一、大数据简介1.1 课前准备，什么是大数据1.2大数据的特征1.3 学习的路线和课程概述1.4 学习后能增加的技能树1.5 就业大数据岗位1.6 起源1.6.1 名字起源1.6.2 项目起源1.7 三大发行版本1.8 大数据软件环境部署1.8.1 实验环境详解1.8.2 我的个人电脑：1.8.3 安装软件
一、大数据简介
1.1 课前准备，什么是大数据
大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和

			
		

	





	

		

			

				
					
hadoop大数据平台手动搭建(七)-hue

				
			

			

				

					feilong2483的博客
				

				

					03-31
					
					3998
					
				

			

		

		

			
				
1.解压
tar -zxvf /opt/hue-3.9.0-cdh5.8.0.tar.gz
2. 编译安装
    make apss
    make install
3.修改hue.ini
# Hue configuration file
# ===================================
#
# For complete documentation

			
		

	





	

		

			

				
					
hadoop大数据平台手动搭建-hue

				
			

			

				

					feilong2483
				

				

					03-27
					
					838
					
				

			

		

		

			
				

1.解压
tar -zxvf /opt/hue-3.9.0-cdh5.8.0.tar.gz
2. 编译安装
    make apss
    make install
3.修改hue.ini
# Hue configuration file
# ===================================
#
# For complete documentatio...

			
		

	





	

		

			

				
					
大数据总结

				
			

			

				

					cdmazzq的博客
				

				

					11-26
					
					3657
					
				

			

		

		

			
				
Hadoop 学习
1.hvie 不是一个完整的数据库，其中最大的限制是hive不支持记录级别的更新，插入，删除。但是用户可以通过查询生成新表或者将查询结果导入到文件中
PYTHON学习


可以把模块想像成导入到python以增强其功能的扩展。需要使用命令import来导入块。
例子：>>>import math    >>>math.floor(23.6)
...

			
		

	





	

		

			

				
					
大数据讲课笔记2.3 初探Hadoop世界

				
			

			

				

					howard2005的专栏
				

				

					10-04
					
					1042
					
				

			

		

		

			
				
1. 了解Hadoop的发展历史；
2. 了解Hadoop的版本情况；
3. 掌握Hadoop的生态体系

			
		

	





	

		

			

				
					
【Sandbox环境搭建：大数据入门必修课】：从零开始搭建大数据测试平台

				
			

			

				

					
				

			

		

		

			
				
[【Sandbox环境搭建：大数据入门必修课】：从零开始搭建大数据测试平台](https://slideplayer.com/slide/13781985/85/images/2/Three+modes+of+Hadoop+Standalone+mode+Pseudo-distributed+mode.jpg)  # 摘要 ...

			
		

	





	

		

			

				
					
Hadoop集群搭建全攻略：打造高效大数据平台的秘诀

				
			

			

				

					
				

			

		

		

			
				
[Hadoop集群搭建全攻略：打造高效大数据平台的秘诀](https://www.interviewbit.com/blog/wp-content/uploads/2022/06/HDFS-Architecture-1024x550.png)  # 摘要 本文全面介绍了Hadoop集群的构建、配置和管理，提供了...

			
		

	





	

		

			

				
					
HIVE java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration at org.apache.h

				
			

			

				

					80后大叔爱学习
				

				

					01-21
					
					5427
					
				

			

		

		

			
				
vi hive-site.xml

搜索：<name>hive.server2.active.passive.ha.enable</name>




			
		

	





	

		

			

				
					
HIVE Exception in thread “main“ java.lang.IllegalArgumentException: java.net.URIS

				
			

			

				

					80后大叔爱学习
				

				

					05-24
					
					5154
					
				

			

		

		

			
				
将hive-site.xml文件中的${system:java.io.tmpdir}替换为hive的临时目录


			
		

	





	

		

			

				
					
HIVE Relative path in absolute URI: ${system:java.io.tmpdir%7

				
			

			

				

					80后大叔爱学习
				

				

					10-08
					
					4838
					
				

			

		

		

			
				
Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

修改hive-site.xml文件

&lt;property&gt;
 &lt;name&gt;hive.exec.local.scratchdir&lt;/name&gt;
  &lt;value&gt;$HIVE_HOME...

			
		

	





	

		

			

				
					
HIVE Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://m

				
			

			

				

					80后大叔爱学习
				

				

					04-07
					
					4119
					
				

			

		

		

			
				
错误：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://mycluster/data/hive/warehouse/ods/ods_user/dt=2021-04-03 could not be cleaned up.



原因：被复写的表是分区表，现在删除了该分区表的数据，而之前导入过该分区数据，hive元数据中会有记录，造成其实里面没有内容却不能抽取数据成功。

解

			
		

	





	

		

			

				
					
HIVE SLF4J: Class path contains multiple SLF4J bindings.

				
			

			

				

					80后大叔爱学习
				

				

					05-12
					
					4108
					
				

			

		

		

			
				
两个jar包，删除一个即可


			
		

	





	

		

			

				
					
SPARK JDBC链接其它数据库，错误：java.sql.SQLException: No suitable driver

				
			

			

				

					80后大叔爱学习
				

				

					10-12
					
					2835
					
				

			

		

		

			
				
添加：option("driver","com.mysql.jdbc.Driver")

			
		

	





	

		

			

				
					
CDH大数据平台 16Cloudera Manager Console之Sentry权限配置和测试(markdown新版)

				
			

			

				

					80后大叔爱学习
				

				

					10-11
					
					2532
					
				

			

		

		

			
				
Sentry权限管理hive、hue、hdfs等

			
		

	





	

		

			

				
					
利用ClouderaManager与CDH高效搭建大数据平台

				
			

			

				

					
				

			

		

		

			
				
ClouderaManager (简称CM)是一款由Cloudera公司开发的大数据集群安装部署工具，它在构建大数据平台中扮演着关键角色。CM的主要功能包括集群自动化安装、集中式管理、实时监控和报警，显著提高了集群的部署效率和运维...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 23

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
80后大叔爱学习

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值