CentOS 7+Hadoop-2.10.1的hadoop集群搭建

最新推荐文章于 2022-10-05 00:01:00 发布

過去※

最新推荐文章于 2022-10-05 00:01:00 发布

阅读量3.2k

点赞数 11

CC 4.0 BY-SA版权

分类专栏：大数据学习

本文链接：https://blog.csdn.net/qq_44923545/article/details/110817003

Hadoop集群搭建

搭建所使用的环境和软件：

Xshell

hadoop-2.10.1.tar.gz

jdk-8u162-linux-x64.tar.gz

CentOS-7-x86_64-DVD-2009.iso

VMware-workstation-full-15.5.6-16341506 (1).exe

网盘链接 link ----------------- 提取码：whs9

搭建一台虚拟机

创建虚拟机

进入VMware----点击文件----新建虚拟机

在这里插入图片描述

为虚拟机安装操作系统

出现 CentOS Linux 7 安装屏幕，按回车(或等待 1 分钟)继续。
按 Esc 键跳过安装源检查，或等待安装程序对系统自检(等待时间较长)。
选择语言
选择安装源(默认)。点击“软件选择”，选择软件。
使用无图形界面：选择安装计算节点，然后选里面的：调试工具，性能工具，开发工具,就够了
点击”安装位置”，选择自动分区，单击左上角”完成”。
点击开始安装，然后设置root用户和密码
用root用户进入终端，输入以下命令，同步时间（有ip地址才可以同步网络时间）
1. 安装ntpdate工具 yum -y install ntp ntpdate
2. 设置系统时间与网络时间同步 ntpdate cn.pool.ntp.org
3. 将系统时间写入硬件时间 hwclock --systohc
4. 检查时间是否同步 date

设置虚拟机ip为静态ip，以及修改主机名字

进入虚拟网络编辑器
查看NAT设置，查看网关
根据自己的子网Ip，从这儿规划出4个IP，作为其他虚拟机静态Ip。
192.168.159.100 ------- hadoop-00
192.168.159.110 ------- hadoop-01
192.168.159.120 ------- hadoop-02
192.168.159.130 ------- hadoop-03
修改主机名
vim /etc/hostname

重启以下虚拟机
修改/etc/hosts
修改内容为规划好的ip以及对应的主机名
192.168.159.100 ------- hadoop-00
192.168.159.110 ------- hadoop-01
192.168.159.120 ------- hadoop-02
192.168.159.130 ------- hadoop-03
vim /etc/hosts
修改静态IP

第一步：打开vim /etc/sysconfig/network-scripts/ifcfg-ens33（ens33 是自己网卡的名字，可用ifconfig查看），配置文件

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="6ddb40f1-d3c7-498b-9b5c-c92af02b8a65"
DEVICE="ens33"

ONBOOT="yes"
BOOTPROTO="static"
IPADDR=192.168.159.100 #静态IP  
GATEWAY=192.168.159.2 #默认网关  
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.159.2 #DNS 配置

第二步：修改完后，执行：reboot (重启虚拟机)
第三步：检查
ifconfig

ping 自己

ping百度

都能ping通说明成功了。

用Xshell连接

Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。

新建会话，主机填所连接的IP
接受并保存
填写账户名
填写密码
连接成功

关闭防火墙

查看防火墙状态 firewall-cmd --state
停止firewall systemctl stop firewalld.service
禁止firewall开机启动 systemctl disable firewalld.service

安装JDK

在/opt目录下创建module、software文件夹
卸载现有JDK
(1). 查询是否安装Java软件：rpm -qa|grep java。
(2). 全部卸载： rpm -e --nodeps 包名称

[root@hadoop-00 opt]# rpm -e --nodeps tzdata-java-2020a-1.el7.noarch
[root@hadoop-00 opt]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
[root@hadoop-00 opt]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
[root@hadoop-00 opt]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
[root@hadoop-00 opt]# rpm -e --nodeps javamail-1.4.6-8.el7.noarch
[root@hadoop-00 opt]# rpm -e --nodeps javassist-3.16.1-10.el7.noarch
[root@hadoop-00 opt]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64

用Xftp将JDK与hadoop导入opt目录下面的software文件夹下
(1). Xfrp新建会话如Xshell
(2). 传过去

查看是否成功
解压JDK到/opt/module目录下

[root@hadoop-00 module]# tar -zxvf jdk-8u162-linux-x64.tar.gz -C /opt/module/

最低0.47元/天解锁文章

200万优质内容无限畅学