在hadoop中使用命令hadoop dfsadmin -report没有出现Live datanodes相关代码、使用Java api上传文件出现没有足够的数据节点可用的问题

本文讲述了在查询Hadoop内部节点IP和遇到文件上传失败的问题时,由于Namenode和Datanode启动ID不一致导致的。解决方法包括查找并同步clusterID,停止和重启Hadoop集群。避免频繁使用hdfsnamenode-format,以免影响其他配置。

问题描述:     

      在我想要查询内部名称节点和数据节点的私网ip时,使用hadoop dfsadmin -report命令只出现下面图中所示内容。

   

        并且在后续使用Java api进行文件上传,文件下载出现下面的报错:

File /xiyou/huangguoshan/sunwukong.txt could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.

        这表明在写入文件xxx.txt文件时,没有足够的数据节点可用。

问题原因:

       namenode和datanode启动id不一致,这是因为不止一次的进行Hadoop系统格式化操作。即多次使用命令hdfs namenode -format

解决办法:

      (1)在启动主节点namenode那台机器上找到你安装hadoop的文件目录,我的是hadoop102.

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值