linux系统搭建Hadoop

### 安装和配置 Hadoop 的步骤 #### 准备工作 为了在 Linux 系统上安装和配置 Hadoop，需要先完成 JDK 和其他依赖项的准备。以下是具体操作： 1. **JDK 安装** 将已下载的 JDK 安装包放置到 `/opt` 目录下并解压： ```bash [root@hadoop02 opt]# mv jdk-8u221-linux-x64 /opt/ ``` 解压缩文件后设置环境变量，在 `~/.bashrc` 中添加如下内容[^2]: ```bash export JAVA_HOME=/opt/jdk1.8.0_221 export PATH=$JAVA_HOME/bin:$PATH ``` 2. **验证 Java 是否正常运行** 执行命令以确认 Java 已正确安装： ```bash java -version ``` #### 配置 Hadoop 1. **上传并解压 Hadoop 压缩包** 下载 Hadoop 并将其移动至合适位置（如 `/usr/local/hadoop`），然后解压： ```bash tar -zxvf hadoop-X.X.X.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-X.X.X /usr/local/hadoop ``` 2. **修改环境变量** 编辑用户的 `.bashrc` 或系统的 `/etc/profile` 文件，加入以下内容: ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH ``` 3. **使环境变量生效** 使用以下命令让更改立即生效[^3]: ```bash source /etc/profile ``` 4. **测试 Hadoop 安装是否成功** 输入以下命令来检查版本号，确保 Hadoop 正常启动： ```bash hadoop version ``` #### 主机名与 IP 地址映射 编辑主机的 `/etc/hosts` 文件，添加集群节点对应的主机名和 IP 映射关系: ```plaintext 192.168.1.101 hadoop-master 192.168.1.102 hadoop-slave1 192.168.1.103 hadoop-slave2 ``` #### 修改核心配置文件 进入 Hadoop 的配置目录 `/usr/local/hadoop/etc/hadoop`，调整以下几个主要 XML 文件的内容。 1. **core-site.xml** 设置默认存储路径以及 NameNode 的地址： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-master:9000</value> </property> </configuration> ``` 2. **hdfs-site.xml** 配置副本数量和其他参数： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` 3. **mapred-site.xml** 如果该文件不存在，则复制模板文件 `mapred-site.xml.template` 后再进行修改： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 4. **yarn-site.xml** YARN 资源管理器的相关配置： ```xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-master</value> </property> </configuration> ``` #### 初始化 HDFS 文件系统 执行以下命令初始化分布式文件系统名称空间： ```bash hdfs namenode -format ``` #### 启动服务 依次启动 HDFS 和 YARN 服务： ```bash start-dfs.sh start-yarn.sh ``` 通过浏览器访问 Web UI 页面查看状态，默认端口分别为 50070 (NameNode) 和 8088 (ResourceManager). ---