LINUX中HADOOP集群搭建

1安装虚拟机
2基本配置
设置ip地址


重启网络服务

关闭防火墙

设置linux域名映射


修改主机中的域名映射
cd C:\Windows\System32\drivers\etc\hosts

免密配置

ssh-keygen
ssh-copy-id review

3 在linux上安装jdk
虚拟机上安装未下载好的指令

一：虚拟机上安装jdk
1:上传jdk压缩包并解压

2:配置JAVA_HOME

刷新

查看是否部署成功

二： 虚拟机中安装tomcat

1: 上传tomcat压缩包 并解压

2:在tomcat的home目录的bin目录下执行./startup.sh

3:在浏览器上输入域名端口号查看tomcat页面

三:linux上离线安装mysql
1:在/opt/apps下创建一个mysql文件夹 上传 解压

2:按照以下命令一步一步执行
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64

yum -y install net-tools
yum -y install perl

rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm

service mysqld start
mysqld --initialize --user=mysql
cat /var/log/mysqld.log | grep password 拿到初始密码
mysql -uroot -p密码

查看网络端口号命令

修改密码遇到错误(由于自定义密码比较简单，出现了不符合密码策略的问题)
加入下面指令即可


mysql 安装完成!

四：在linux上安装HDFS
1:上传压缩包 并解压

配置信息

vi /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.sh

vi  /opt/apps/hadoop-3.1.1/etc/hadoop/hdfs-site.xml

vi /opt/apps/hadoop-3.1.1/etc/hadoop/core-site.xml

在bin目录下执行以下代码初始化namenode

./hadoop  namenode -format

在sbin目录下sbin/start-dfs.sh sbin/stop-dfs.sh

在sbin目录下输入以下命令单节点启停namenode 和 datanode

./hadoop-daemon.sh   start  namenode 
./hadoop-daemon.sh   start  datanode 

jps出现namenode、datanode进程

配置环境变量

vi etc/profile

刷新

source /etc/profile

hdfs一件启停的命令

start-dfs.sh/stop-dfs.sh

访问页面 http://review:9870 review:9870 出现以下页面启动成功

HDFS安装完成！

五：在hdfs中安装yarn
1:修改配置信息

vi /opt/apps/hadoop-3.1.1/etc/hadoop/yarn-site.xml

在linux上将MR程序提交到yarn上还需要配置

vi /opt/apps/hadoop-3.1.1/etc/hadoop/mapred-site.xml

在sbin目录下sbin/start-yarn.sh sbin/stop-yarn.sh

jps后有ResourceManager节点

访问http://review:8088 review:8088 出现以下页面则访问成功

YARN安装成功

六:在linux上安装Zookeeper
1: 上传压缩包 解压

2:在ZK_HOME下创建一个zkData文件夹 /opt/apps/zookeeper-3.4.6/zkData

3:将/opt/apps/zookeeper-3.4.6/conf 下的 zoo_sample.cfg重命名

mv zoo_sample.cfg zoo.cfg

4:修改配置文件

vi zoo.cfg

5:在各个节点的数据存储目录中，生成一个myid文件，内容为它的id

echo 1 > /opt/apps/zookeeper-3.4.6/zkData/myid

6:zookeeper的启停
sh zk.sh start/stop

7:jps

Zookeeper安装成功！

七:在linux上安装hbase

1:上传下载 解压缩

2:hbase-env.sh修改内容：注意放开注释

vi /opt/apps/hbase-2.2.5/conf/hbase-env.sh

2:hbase-site.xml修改内容：

vi /opt/apps/hbase-2.2.5/conf/hbase-site.xml

3:regionservers 配置 启动集群中的Regionserver机器

vi /opt/apps/hbase-2.2.5/conf/regionservers

4:配置环境变量

vi /etc/profile
source /etc/profile
start/stop-hbase.sh

访问页面http://linux01:16010