[root@jyr mapreduce]# hadoop jar hadoop-mapreduce wordcount /word.txt /output JAR does not exist or is not a normal file: /opt/module/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce

### Hadoop运行MapReduce任务时找不到JAR文件的问题分析与解决 在Hadoop 3.1.4环境下，如果运行MapReduce任务时遇到`jar file not found`错误，通常是因为以下原因之一导致的： 1. **Hadoop示例JAR文件路径问题**：Hadoop官方提供了`hadoop-mapreduce-examples-3.1.4.jar`作为运行示例任务的入口文件。如果路径设置不正确或文件缺失，则会导致此类错误[^1]。 2. **环境变量配置问题**：Hadoop需要依赖正确的环境变量（如`HADOOP_HOME`、`JAVA_HOME`等）来定位JAR文件和其他资源。如果这些变量未正确配置，可能会引发路径解析失败[^4]。 3. **文件权限问题**：即使JAR文件存在，但如果用户没有足够的权限访问该文件，也会触发类似的错误[^4]。 以下是解决问题的具体方法： #### 1. 检查Hadoop示例JAR文件是否存在 确保`hadoop-mapreduce-examples-3.1.4.jar`文件位于Hadoop安装目录下的`share/hadoop/mapreduce`路径中。例如： ```bash ls /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar ``` 如果文件不存在，请重新解压Hadoop安装包或将文件恢复到正确位置。 #### 2. 验证环境变量配置 检查是否正确设置了`HADOOP_HOME`和`JAVA_HOME`环境变量。可以通过以下命令验证： ```bash echo $HADOOP_HOME echo $JAVA_HOME ``` 如果变量未设置或指向错误路径，请在`.bashrc`或`.bash_profile`中添加如下内容并刷新环境变量： ```bash export HADOOP_HOME=/opt/module/hadoop-3.1.4 export JAVA_HOME=/opt/module/jdk1.8.0_241 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin source ~/.bashrc ``` #### 3. 检查文件权限 使用以下命令检查JAR文件的权限： ```bash ls -l /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar ``` 如果权限不足，可以使用`chmod`命令修改权限： ```bash sudo chmod 644 /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar ``` #### 4. 测试运行MapReduce任务 完成上述步骤后，尝试运行计算圆周率的示例任务以验证问题是否解决： ```bash cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4 ``` 如果任务成功运行，则说明问题已解决。 #### 5. 如果问题仍然存在 如果按照上述步骤操作后问题仍未解决，可能需要检查以下内容： - 确认Hadoop版本是否与JDK版本兼容。Hadoop 3.1.4推荐使用JDK 8[^2]。 - 检查是否有其他第三方库（如Snappy）影响了JAR文件的加载。如果是这种情况，可能需要重新编译Hadoop源码[^3]。 --- ### 示例代码 以下是一个简单的MapReduce任务运行脚本，用于验证环境配置是否正确： ```bash #!/bin/bash # 设置环境变量 export HADOOP_HOME=/opt/module/hadoop-3.1.4 export JAVA_HOME=/opt/module/jdk1.8.0_241 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin # 运行计算圆周率示例任务 cd $HADOOP_HOME/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4 ``` --- ###