hadoop 单机配置
时间: 2025-06-30 09:57:44 浏览: 17
### Hadoop 单机配置与伪分布式配置指南
#### 1. 环境准备
在开始配置之前,需要确保操作系统和相关软件满足要求。根据提供的信息[^4],建议使用以下环境:
- 操作系统:Linux(如 Ubuntu 16.04 或 18.04)
- Hadoop 版本:3.1.3
- JDK 版本:1.8
安装 JDK 并设置环境变量后,可以验证是否成功:
```bash
java -version
```
同时,下载并解压 Hadoop 压缩包到目标目录(如 `/usr/local/hadoop`),并将其添加到环境变量中。
---
#### 2. 单机模式配置
单机模式是最简单的运行方式,不需要修改任何配置文件即可运行 Hadoop 的基本功能。只需确保 Hadoop 已正确安装,并将 Hadoop 的 `bin` 和 `sbin` 目录路径添加到系统的 `PATH` 中[^2]。
验证 Hadoop 是否正常工作:
```bash
hadoop version
```
如果显示 Hadoop 版本号,则说明单机模式配置成功。
---
#### 3. 伪分布式配置
伪分布式模式允许 Hadoop 在本地机器上模拟分布式环境。以下是具体步骤:
##### 3.1 修改配置文件
Hadoop 的配置文件位于 `/usr/local/hadoop/etc/hadoop/` 中[^1],需要编辑以下两个文件:
1. **core-site.xml**
编辑 `core-site.xml` 文件,添加如下内容以指定 HDFS 的默认文件系统:
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
2. **hdfs-site.xml**
编辑 `hdfs-site.xml` 文件,添加如下内容以指定副本数量:
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
##### 3.2 格式化 NameNode
在完成配置后,需要格式化 HDFS 文件系统:
```bash
hdfs namenode -format
```
##### 3.3 启动 Hadoop 集群
启动 Hadoop 服务:
```bash
start-dfs.sh
start-yarn.sh
```
可以通过浏览器访问以下地址检查集群状态:
- HDFS Web UI: `http://localhost:9870/`
- YARN Web UI: `http://localhost:8088/`
##### 3.4 测试运行
运行一个示例程序来验证 Hadoop 是否正常工作。例如,执行 WordCount 示例:
```bash
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar wordcount /input /output
```
上述命令会在 HDFS 上的 `/input` 目录中读取数据,并将结果输出到 `/output` 目录中[^3]。
---
#### 注意事项
- 确保所有路径均为绝对路径,避免因相对路径导致的错误[^2]。
- 如果遇到权限问题,可以尝试使用 `sudo` 提升权限或调整文件夹权限:
```bash
sudo chmod -R 755 /usr/local/hadoop
```
---
阅读全文
相关推荐

















