### Hadoop2安装与常用Shell命令详解
#### Hadoop2安装步骤
在开始Hadoop2的安装之前，首先需要确保所有节点的操作系统版本为CentOS/Red Hat Linux 6.4_x64，并且每台服务器都已完成基本的系统配置。
##### 系统配置
1. **主机名设置**：
- 修改主机名：通过`# hostname ha-nn-001`临时修改当前系统的主机名。
- 永久更改主机名：编辑`/etc/sysconfig/network`文件中的`HOSTNAME`值为`ha-nn-001`。
- 配置`/etc/hosts`文件来映射主机名和IP地址：
```bash
# vi /etc/hosts
192.168.6.239 ha-nn-001
192.168.6.241 ha-nn-002
192.168.6.242 ha-dn-001
192.168.6.243 ha-dn-002
```
2. **时间同步**：
- 配置NTP服务以ha-nn-001为主时钟源：
```bash
# vi /etc/ntp.conf
server ha-nn-001 ntp
```
- 启动并设置NTP服务开机启动：
```bash
# chkconfig ntpd on
# service ntpd start
```
3. **安全设置**：
- 关闭防火墙：
```bash
# service iptables stop
# chkconfig iptables off
```
- 禁用SELinux：
```bash
# setenforce 0
# vi /etc/selinux/config
SELINUX=disabled
```
##### 用户和目录准备
1. **创建Hadoop用户组和用户**：
- 创建`hadoop`用户组：
```bash
# groupadd hadoop
```
- 创建`hadoop`用户，并将其加入到`hadoop`组中：
```bash
# useradd -g hadoop -d /home/hadoop hadoop
# passwd hadoop
```
- 设置`/home/hadoop`目录的所有权：
```bash
# chown -R hadoop:hadoop /home/hadoop
```
##### Hadoop安装
1. **解压Hadoop安装包**：
- 在`/home/hadoop`目录下解压Hadoop安装包：
```bash
$ cd /home/hadoop
$ tar -zxvf hadoop_v2*.tar.gz
```
2. **格式化和启动NameNode**（只需在一个节点上执行）：
- 格式化NameNode：
```bash
$ cd hadoop/bin/
$ ./hadoop namenode -format
```
- 启动NameNode和ResourceManager：
```bash
$ cd hadoop/sbin/
$ ./hadoop-daemon.sh start namenode
$ ./yarn-daemon.sh start resourcemanager
```
3. **启动DataNode和NodeManager**（在每个DataNode上执行）：
- 在DataNode节点上启动DataNode和NodeManager：
```bash
$ ./hadoop-daemon.sh start datanode
$ ./yarn-daemon.sh start nodemanager
```
#### 常用Hadoop Shell命令
1. **查看集群状态**：
- 使用`jps`命令检查进程是否正常启动：
```bash
$ jps
63078 DataNode
63195 NodeManager
63491 Jps
```
- 使用`hadoop dfsadmin -report`查看集群报告：
```bash
$ hadoop dfsadmin -report
```
2. **集群管理**：
- 启动所有Hadoop服务：
```bash
$ ./start-all.sh
```
- 停止所有Hadoop服务：
```bash
$ ./stop-all.sh
```
3. **Web界面监控**：
- 访问NameNode和ResourceManager的Web界面，例如：
- NameNode: `http://192.168.6.239:50070`
- ResourceManager: `http://192.168.6.239:8088`
#### Hadoop集群维护
1. **SSH配置**：
- 在每个节点上配置无密码SSH登录，以便于集群内部的通信。
- 通过`ssh-keygen`生成公钥和私钥对，然后将公钥复制到其他节点上。
2. **配置`slaves`文件**：
- 在NameNode节点上的`slaves`文件中列出所有的DataNode节点名称。
3. **集群启停脚本**：
- 使用`start-all.sh`脚本来启动整个集群。
- 使用`stop-all.sh`脚本来停止整个集群。
#### 总结
本文详细介绍了Hadoop2的安装步骤以及一些常用的Shell命令，包括系统配置、Hadoop用户和目录的准备、Hadoop的安装、集群的启动与维护等。通过这些步骤，你可以成功地搭建起一个功能完备的Hadoop2集群，并利用各种命令来管理和监控这个集群。对于那些希望深入了解Hadoop集群部署和管理的人来说，这些信息将是极其宝贵的资源。
