15分钟让你从0-1搭建hbase2.5.10--基于hadoop3。（保姆级教程，复制粘贴即用）

本文链接：https://blog.csdn.net/Harden_zsc/article/details/144981866

创建新虚拟机（centos7）

1.创建空白虚拟机

在这里插入图片描述

修改镜像：

在这里插入图片描述

选择自己的镜像
在这里插入图片描述

2.配置网络

在这里插入图片描述

修改主机名并连接网络
在这里插入图片描述

设置密码
在这里插入图片描述
查看ip

ip addr

在这里插入图片描述

测试网络连接

ping www.baidu.com

在这里插入图片描述

测试使用yum -y install 下载

yum -y install vim

注：出现这个问题，镜像文件问题，获取阿里最新镜像文件

在这里插入图片描述

#备份镜像文件
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
#获取阿里镜像文件
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

#此时再测试下载成功
yum -y install vim

关闭防火墙并禁用

#关闭
systemctl stop firewalld
#禁用
systemctl disable firewalld

部署jdk（使用oninstack自动化部署）

#下载wget
yum -y install wget

#oninstack命令
wget -c http://mirrors.oneinstack.com/oneinstack.tar.gz && tar xzf oneinstack.tar.gz && ./oneinstack/install.sh --jdk_option 1 --reboot

看到successfully就是部署成功了，部署成功以后会自动重启，需要重新连接

在这里插入图片描述

查看是否部署成功

java -version
which java

在这里插入图片描述

#查看java_home
find / -name java

在这里插入图片描述

设置JAVA_HOME

#打开文件
vim /etc/profile
#加上JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/
export PATH=$PATH:$JAVA_HOME/bin

#刷新，使修改的文件生效
source /etc/profile

#查看是否生效
echo $JAVA_HOME

配置免密登录

ssh-keygen  -t  rsa  （连续三次回车）

在这里插入图片描述

ssh-copy-id hadoop

如果遇到以下报错：

在这里插入图片描述

vim /etc/hosts
#添加ip hostname映射
192.168.182.148 hadoop

部署hadoop3.3.6

下载lrzsz上传文件

yum -y install lrzsz

创建文件夹并将hadoop文件包上传

#创建文件夹
mkdir -p /opt/software
mkdir -p /opt/server
cd /opt/software
#上传文件
rz

在这里插入图片描述

#解压文件到/opt/server
tar -zxvf hadoop-3.3.6.tar.gz -C ../server/
cd ../server
mv hadoop-3.3.6/ hadoop

#配置环境变量
vim /etc/profile
export HADOOP_HOME=/opt/server/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

#刷新生效
source /etc/profile

将hadoop-env.sh mapred-env.sh yarn-env.sh 加入JAVA_HOME变量

 echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64" >> /opt/server/hadoop/etc/hadoop/hadoop-env.sh
 echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64" >> /opt/server/hadoop/etc/hadoop/mapred-env.sh
 echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64" >> /opt/server/hadoop/etc/hadoop/yarn-env.sh

修改配置文件

1.core-site.xml

vim /opt/server/hadoop/etc/hadoop/core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/server/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

vim /opt/server/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/server/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/server/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

mapred-site.xml

vim /opt/server/hadoop/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.yarn-site.xml

vim /opt/server/hadoop/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop</value>
    </property>
</configuration>

5.worker

vim /opt/server/hadoop/etc/hadoop/worker

hadoop

6.hadoop-env.sh

vim /opt/server/hadoop/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

初始化节点

hadoop namenode -format

在这里插入图片描述

看到successfully说明初始化成功

启动

cd /opt/server/hadoop/sbin

./start-all.sh

在这里插入图片描述

有5个进程，则启动成功

192.168.182.148:9870

在这里插入图片描述

至此单机hadoop部署成功。

部署hbase2.5.10（不基于zookeeper）

上传安装包

cd /opt/software
rz

#解压
tar -zxvf hbase-2.5.10-hadoop3-bin.tar.gz -C ../server

cd ../server
mv hbase-2.5.10-hadoop3/ hbase

修改配置文件

1.hbase-env.sh

vim /opt/server/hbase/conf/hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/
export HBASE_MANAGES_ZK=true

2.hbase-site.xml

vim /opt/server/hbase/conf/hbase-site.xml

  <property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
  </property>
  <property>
     <name>hbase.tmp.dir</name>
     <value>./tmp</value>
  </property>
  <property>
     <name>hbase.unsafe.stream.capability.enforce</name>
     <value>false</value>
  </property>
  <property>
     <name>hbase.rootdir</name>
     <value>file:///opt/server/hbase/root</value>
   </property>
   <property>
     <name>hbase.zookeeper.quorum</name>
     <value>127.0.0.1</value>
   </property>
   <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>file:///opt/server/hbase/data</value>
   </property>