Hadoop的集群配置

第一步，我们进行集群的弹性扩展******：******

我们安装都是单机集群

1-N的集群扩张

扩张之前，需要选择一个已安装hadoop的主机，作为Master

1. 已安装hadoop的主机清理，只保留1号机中的hadoop，以这个hadoop为准

2. 确认所有主机已安装了jdk

3. 确认所有主机之间，彼此ssh免密

4. 检查所有主机是否都有公私钥

5. （1）：在各自的机器上面生成密钥：

   在第1台机器上生产一对钥匙： ssh-keygen （-t rsa）

   在第2台机器上生产一对钥匙： ssh-keygen （-t rsa）

   在第3台机器上生产一对钥匙： ssh-keygen （-t rsa）

   （2）：将其它机器的公钥拷贝到第一台机器：

   ssh-copy-id 第一台机器(分别在其他机器执行此命令，注意，也在第一台机器上面将公钥拷贝到自己的机器上面)

   如ssh-copy-id master，其他在其他机器执行此命令：ssh-copy-id slaver1，ssh-copy-id slaver2，ssh-copy-id slaver3，

   （3）：将依次从第一台机器将公钥拷贝到其他节点

   ssh-copy-id 第2台机器

   ssh-copy-id 第3台机器

   第三步：将第一台的authorized_keys分别拷贝到其他机器上面：

   　　scp authorized_keys slaver1:/root/.ssh/
   　　scp authorized_keys slaver2:/root/.ssh/
   　　scp authorized_keys slaver3:/root/.ssh/
   

6. Vi slaves 指定工作

   /usr/hadoop/hadoop-2.10.1/etc/hadoop
   vi slaves
   

7. 将1号主机中的已经配置好的hadoop直接分发给所其它所有主机（免于一台一台机器安装）

   分发之前，确认2、3号机是否创建了/usr/hadoop目录

   

8. 开始分发文件：

9. 分发完毕后，启动测试

10. 集群只需要和master进行交互即可，其它工作机，听从master指挥，不需要你进行干预。

Hadoop在通讯过程中，会将ip转换为域名或主机名，通过主机名与目标主机进行交互，所以要自行解析、映射主机名与IP间的关系

![](https://img-blog.csdnimg.cn/4da3317e5f77487bae93e02887932aaf.png)

配置/etc/hosts，以保证集群所有主机，可相互解析主机名：

![](https://img-blog.csdnimg.cn/5b6db3235d1340638ac784d7d2e3cf8d.png)

至此就可正常使用啦：

![](https://img-blog.csdnimg.cn/18b5e8c48e91462bab81014890bd2d56.png)

正常启动，无异常

检查各机进程：

![](https://img-blog.csdnimg.cn/f712f8955ef24faaa0996dc1a735f139.png)

各机进程启动正常，各自完成自己的角色工作