【hadoop】常用命令

已于 2024-10-18 15:31:46 修改
阅读量473 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hadoop 大数据 分布式
于 2024-08-06 20:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37871657/article/details/139920607

集群信息

查看hadoop版本

hadoop version

查询hdfs系统中的namenode

# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息


                

                
                
        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
hadoop 常用命令

				
			

			

				

					sunny05296的博客
				

				

					03-26
					
					960
					
				

			

		

		

			
				
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了  localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为  hadoop01 后，重启 datanode 服务，问题就解决了。-- load后会在配置文件决定的固定目录下产生一个表名对应的目录，目录下为对应的数据文件。

			
		

	



                

            
              



	

		

			

				
					
Hadoop - HDFS（体系结构介绍、HDFS数据处理、Hadoop Shell基本操作、HDFS Java API）

				
			

			

				

					坚决不做秃头少女
				

				

					12-26
					
					872
					
				

			

		

		

			
				

* HDFS的工作原理是答辩重点（块、元数据、主/从节点SecondaryNameNode，FsImage、EditImage、存取策略/规则、数据出错与恢复、读写过程）


集群和分布式概念：

集群：集群就是逻辑上处理同一任务的机器集合，可以属于同一机房，也可分属不同的机房
	分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群
集群就是逻辑上处理同一任...

			
		

	



              


  
              

                


	

		

			

				
					
hadoop 命令大全

				
			

			

				

					08-16
				

			

		

		

			
				
hadoop 命令大全

			
		

	





	

		

			

				
					
hadoop常用命令

				
			

			

				

					weixin_34360651的博客
				

				

					06-29
					
					507
					
				

			

		

		

			
				
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file...

			
		

	



		

			
		



	

		

			

				
					
Hadoop常用命令

				
			

			

				

					weixin_34234823的博客
				

				

					10-10
					
					129
					
				

			

		

		

			
				
HDFS基本命令:hadoop fs -cmdcmd: 具体的操作，基本上与UNIX的命令行相同args:参数HDFS资源URI格式：scheme://authority/pathscheme：协议名，file或hdfsauthority：namenode主机名path：路径示例：hdfs://localhost:9000/user/chunk/test.txt假设已经在core-site.xml...

			
		

	





	

		

			

				
					
Hadoop常用命令.pdf

				
			

			

				

					07-02
				

			

		

		

			
				
 > hadoop jar test-1.0-SNAPSHOT-jar-with-dependencies.jar /user/test/input /user/test/out 2.运行Jar包指定类中的主函数  > java -cp test-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.main.MainTest

			
		

	





	

		

			

				
					
hadoop命令大全

				
			

			

				

					shuhuai007的专栏
				

				

					08-23
					
					1786
					
				

			

		

		

			
				
1、列出所有Hadoop Shell支持的命令
  $ bin/hadoop fs -help
2、显示关于某个命令的详细信息
  $ bin/hadoop fs -help command-name
3、用户可使用以下命令在指定路径下查看历史日志汇总
  $ bin/

			
		

	





	

		

			

				
					
Java之美[从菜鸟到高手演练]之Hadoop常用命令

					
热门推荐

				
			

			

				

					智慧演绎，无处不在
				

				

					01-15
					
					2万+
					
				

			

		

		

			
				
这篇文章主要是讲一下位于bin下的hadoop命令，我们可以直接输入hadoop无任何参数看一下：用法就是：hadoop [---config confdir] COMMAND此处COMMAND就是下面列出来的那些，fs, version,jar 等等。

			
		

	





	

		

			

				
					
HDFS操作随笔

				
			

			

				

					Johnzhc的博客
				

				

					08-30
					
					356
					
				

			

		

		

			
				
                                                HDFS操作随笔

目录

                                                HDFS操作随笔

一、Hadoop的hdfs dfs命令

一、Hadoop的hdfs dfs命令

参数
			作用
			示例
			返回值
		appendToFile
	...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值