虚拟机搭建hadoop

虚拟机搭建hadoop

一、搭建centos虚拟机，

1.分区等设置

下载镜像导入 ，分区：
硬件：内存2G，硬盘50G
分区：/boot 挂载1g
/swap 挂载4G （内存不够可采用磁盘当内存使用）
/挂载45G

2.网络ip设置

（1）虚拟网络编辑器设置：选择vmnet8 子网ip设置网段修改为任意网段 例如10

nat设置：原则同网段就想

（2）本地机设置：vmnet8 ipv4属性

（3）虚拟机centos系统设置：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

如下：

最后重启一下虚拟机。。
ping一下外网和内网，查看是否能通信，通信就搞定
设置一下host
vim /etc/hosts

安装一下软件工具包
yum install -y epel-release
关闭防火墙
systemctl stop firewalld
禁止防火墙开机自启
systemctl disable firewalld.service

番外：linux的权限设置 /etc/sudoers

cd /opt/
sudo rm -rf rh
sudo mkdir module
sudo mkdir software
sudo chown howey:howey module/ software/

二、安装jdk

1.卸载自带的jdk

rpm -qa |grep -i java |xargs -n1 rpm -e --nodeps
rpm -qa：查询所安装的所有rpm软件包
grep -i ：忽略大小写
xargs -n1 ：表示每次只传递一个参数
rpm -e -nodeps ：强制卸载软件

2.下载jdk for linux sftp

上传到目录/opt/software/
解压安装
tar -zxvf jdk-8u331-linux-x64.tar.gz -C /opt/module/

3 配置系统变量

sudo vim /etc/profile.d/my_env.sh

重新加载资源
source /etc/profile
java -version

二、安装hadoop

1.下载hadoop

上传到目录/opt/software/

2.解压安装

tar -zxvf hadoop-3.3.1.tar.gz -C /opt/module/

3 配置系统环境变量

重新加载资源
source /etc/profile
hadoop version