hadoop环境配置前置准备

基于VMware构建Linux虚拟机

VMware 准备 Linux 虚拟机

VMware 自行安装

一、设置VMware网段

在VMware的虚拟网络编辑器中，将VMnet8虚拟网卡的：

网段设置为：192.168.88.xx

网关设置为：192.168.88.2

打开VMware, 点击编辑，点击虚拟网络编辑器

选择VMnet8，输入子网ip，子网掩码，点击NAT设置

网关设置192.168.88.2

二、下载CentOS操作系统

首先，我们需要下载操作系统的安装文件，本次使用CentOS7.6版本：

https://vault.centos.org/7.6.1810/isos/x86_64/   (最后的/不要漏掉）

或者直接使用如下链接下载：

https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

或者从网盘资料中获取安装包

三、在VMware中安装CentOS操作系统

打开VMware软件：

按照步骤创建虚拟机：

点击完成后，即开启了CentOS系统的安装，耐心等待安装完成即可，后续都是自动化的。

点击用户名，输入密码即可进入界面

四、配置多台Linux虚拟机

现在有了一台基础的Linux虚拟机后

我们可以使用VMware提供的克隆功能，基于一台虚拟机去克隆创建多台虚拟机。

首先，在VMware中，创建一个文件夹，起名为大数据集群

克隆

同样的操作克隆出：node2和node3

对虚拟机的内存进行配置：

VMware 虚拟机系统设置

一、主机名、IP、SSH免密登录

一、配置固定IP地址

开启node1，修改主机名为node1，并修改固定ip为：192.168.88.131 

同样的操作启动node2和node3,

修改node2主机名为node2，设置ip为192.168.88.132

修改node2主机名为node3，设置ip为192.168.88.133

 二、配置主机名映射

1. 在Windows系统中修改hosts文件，填入如下内容：

2. 在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）

三、配置SSH免密登录

后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆

1. 在每一台机器都执行：`ssh-keygen -t rsa -b 4096`，一路回车到底即可

2. 在每一台机器都执行：

3. 执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通

四、创建hadoop用户并配置免密登录

后续大数据的软件，将不会以root用户启动（确保安全，养成良好的习惯）

我们为大数据的软件创建一个单独的用户hadoop，并为三台服务器同样配置hadoop用户的免密互通

1. 在每一台机器执行：useradd hadoop，创建hadoop用户

2. 在每一台机器执行：passwd hadoop，设置hadoop用户密码为123456

3. 在每一台机器均切换到hadoop用户：su - hadoop，并执行 ssh-keygen -t rsa -b 4096，创建ssh密钥

4. 在每一台机器均执行

二、JDK环境部署

一、什么是JDK为什么需要部署它

JDK：Java Development Kit，是用于Java语言开发的环境。

大数据的很多软件的运行都需要有Java运行环境的支持

所以我们在三台服务器上，预先都部署好JDK环境。

        部署JDK不需要懂得Java语言，只需要掌握Linux相关命令即可。

        课程中使用JDK1.8版本

二、下载JDK

下载JDK软件：https://www.oracle.com/java/technologies/downloads

在页面下方找到：

下载jdk-8u361-linux-x64.tar.gz

在弹出的页面中输入Oracle的账户密码即可下载（如无账户，请自行注册，注册是免费的）

或从第一节中提供的网盘资料中下载

三、配置JDK环境

1. 创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server 内

2. 解压缩JDK安装文件

3. 配置JDK的软链接

4. 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

5. 生效环境变量

6. 配置java执行程序的软链接

7. 执行验证

三、防火墙、SELinux、时间同步

一、关闭防火墙和SELinux

集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。

Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。

在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可

二、修改时区并配置自动时间同步

以下操作在三台Linux均执行

1. 安装ntp软件

yum install -y ntp

2. 更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间

ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

三、设置快照

目前Linux虚拟机的状态基本准备就绪，可以对当前状态进行快照保存，以备后续恢复。

对三台虚拟机均执行拍摄快照。

总结

经过一系列操作，我们完成了：

1.设置三台Linux虚拟机的主机名和固定IP

2.在Linux系统以及本机系统中配置了主机名映射

3.配置了三台服务器之间root用户的SSH免密互通

4.安装配置完成了JDK环境

5.关闭了防火墙和SELinux

6.更新了时区和同步了时间

7.拍摄快照保存状态