Hadoop大数据平台实战 —— 三个节点（1个master+2个slave）实现全分布式操作

在Ubuntu上创建三个节点master、slave1和slave2可以按照以下步骤进行： 1. 安装Java和SSH ``` sudo apt-get update sudo apt-get install openjdk-8-jdk sudo apt-get install ssh ``` 2. 创建三个节点的用户并设置密码 ``` sudo adduser master sudo adduser slave1 sudo adduser slave2 sudo passwd master sudo passwd slave1 sudo passwd slave2 ``` 3. 将公钥分发到所有节点 ``` sudo ssh-keygen -t rsa ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2 ``` 4. 修改hosts文件 ``` sudo nano /etc/hosts ``` 在文件末尾添加以下内容 ``` 192.168.1.101 master 192.168.1.102 slave1 192.168.1.103 slave2 ``` 5. 安装Hadoop ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz tar -xzvf hadoop-3.2.2.tar.gz sudo mv hadoop-3.2.2 /usr/local/hadoop ``` 6. 编辑Hadoop配置文件 ``` sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 修改JAVA_HOME变量 ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 7. 配置Hadoop的masters和slaves文件 ``` sudo nano /usr/local/hadoop/etc/hadoop/masters ``` 添加以下内容 ``` master ``` ``` sudo nano /usr/local/hadoop/etc/hadoop/slaves ``` 添加以下内容 ``` slave1 slave2 ``` 8. 启动Hadoop ``` sudo /usr/local/hadoop/sbin/start-all.sh ``` 现在，你就可以在Ubuntu上创建三个节点master、slave1和slave2，并且使用Hadoop进行分布式计算了。