### Hadoop安装配置教程知识点详解
#### 一、环境准备
- **操作系统**: 确保所有服务器节点安装了统一的操作系统，推荐使用Linux发行版，例如Ubuntu或CentOS。这是因为Hadoop对Linux的支持更好，并且大部分大数据处理工具都是基于Linux开发的。
- **网络配置**: 配置所有节点处于同一局域网内，并确保每台机器的IP地址不冲突，以避免网络通讯错误。此外，还需要设置好DNS解析，使各个节点可以通过主机名互相访问。
#### 二、JDK安装
- 在所有节点上安装Java环境。因为Hadoop是由Java编写的，所以需要安装JDK而不是仅安装JRE。推荐安装OpenJDK或Oracle JDK 8及以上版本。
#### 三、Hadoop安装包下载与解压
- 访问Hadoop官方网站(https://hadoop.apache.org/)下载合适的版本。选择版本时要考虑兼容性问题，例如Hadoop 2.x系列适合用于较老的应用程序，而Hadoop 3.x系列则更适合新项目，因为它支持更多功能并且性能更优。
- 将下载好的Hadoop安装包上传至服务器的`/opt/hadoop`目录，并使用以下命令解压：
```
tar -zxvf hadoop-2.7.5.tar.gz
```
#### 四、配置Hadoop
- **core-site.xml**:
- 配置文件系统默认名称，例如使用本地文件系统`file://`或者HDFS`hdfs://<namenode_ip>:<port>`。
- 设置Hadoop临时文件存储路径。
- **hdfs-site.xml**:
- 配置HDFS相关的参数，例如数据块大小(`dfs.blocksize`)、副本数量(`dfs.replication`)等。
- **mapred-site.xml**:
- 配置MapReduce作业的相关参数，如框架名称(`mapreduce.framework.name`)、框架主类(`mapreduce.jobhistory.address`)等。
- **yarn-site.xml**:
- 配置YARN资源管理器的参数，例如ResourceManager监听地址(`yarn.resourcemanager.address`)、NodeManager监听地址(`yarn.nodemanager.address`)等。
#### 五、SSH配置
- 在所有节点上配置SSH免密码登录，以方便节点间通信。通常需要在每个节点上生成SSH公钥和私钥，然后将公钥添加到其他节点的`~/.ssh/authorized_keys`文件中。
#### 六、Hadoop服务启动
- 在Master节点上格式化Hadoop文件系统，使用命令：
```
hdfs namenode -format
```
- 启动Hadoop服务，使用以下命令启动HDFS和YARN服务：
```
start-dfs.sh
start-yarn.sh
```
#### 七、验证安装
- 使用`jps`命令检查Hadoop守护进程是否启动，常见的进程包括`NameNode`、`DataNode`、`ResourceManager`、`NodeManager`等。
#### 八、其他注意事项
- 修改主机名以区分不同的节点，可以通过编辑`/etc/hostname`文件实现。
- 关闭防火墙或者配置防火墙规则以允许Hadoop所需的端口，例如9000（HDFS）、8088（YARN）等。
- 检查`/etc/hosts`文件以确保所有节点都可以通过IP地址和主机名互相访问。
- 如果使用Namenode高可用模式，则还需要额外配置ZooKeeper集群。
通过上述步骤可以成功搭建一个基本的Hadoop集群，为后续的大数据处理任务打下坚实的基础。当然，在实际部署过程中可能会遇到各种各样的问题，例如网络配置、权限问题等，这时候就需要结合具体情况进行排查解决。
