docker安装hadoop集群遇到的一些问题

本文解决了Hadoop和Hive使用过程中遇到的问题,包括HDFS命令未找到、启动时进程冲突、非法字符实体、找不到Hadoop安装路径及无法连接Master节点等问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.进入hadoop镜像对应的容器内,执行Hdfs命令,显示没找到hdfs: command not found

解决方案:在/etc/profile文件内

原来是export PATH=PATH:PATH:PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

改成export PATH=PATH:PATH:PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin:HADOOP\_HOME/sbin:HADOOP_HOME/sbin:PATH

2./usr/local/hadoop/sbin目录调用start-all.sh,启动过程提示Slave1: nodemanager is running as process 226. Stop it first.

解决方案:

1.先在slave或masterKill掉对应进程 Kill 226

2.调用stop-all.sh

这二步都做了,再调用start-all.sh启动就正常了

3.Hive初始化元数据报Illegal character entity会提示在哪一行

./schematool -initSchema -dbType mysql

原因就是在conf/hive-stite.xml对应行那里有个 把他删掉即可

用vim +行数 hive-sitem.xml跳到所在行

4.Hive初始化元数据报

Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set

解决方案:在/etc/profile里加了一行

export PATH=PATH:PATH:PATH:HADOOP_HOME/bin:$HIVE_HOME/bin

然后source profile重新运行该文件

然后再重新初始化元数据就可以了。

5.用hive命令准备进入Hive时,报了两个错

1.连接不了hadoopMaster,这个在启动hadoop(haddop目录/sbin ./start-all.sh)就好了

2.无法创建Cannot create directory /tmp/hive. Name node is in safe mode

这个是因为我hadoop之前设置进入了安全模式,所以用hdfs dfsadmin -safemode leave 退出安全模式就可以了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值