安装hadoop3.3.6集群

于 2025-06-12 09:04:14 发布
阅读量793 收藏 27
点赞数 14
CC 4.0 BY-SA版权
文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longxibo/article/details/148577169

安装hadoop3.3.6集群

背景

去年写了一篇编译ranger2.4.1 文章。有网友说部署ranger2.4.1 后，在对接hive地方老报错。所以一探究竟，为其搭建ranger 2.4.1环境。ranger 2.4.1对接hive ,需要安装hive，而hive又依赖hadoop.所以决定先安装hadoop.

安装jdk1.8.0

这个比较简单，将jdk1.8.0_201解压到/usr/java目录

tar -zxvf /setup/jdk1.8.0_201.tar -C /usr/java

在这里插入图片描述
然后在/etc/profile增加jdk路径及JAVA_HOME环境变量

vi /etc/profile

在这里插入图片描述
:wq保存后，执行source /etc/profile 使得环境变量生效

source /etc/profile

验证java 版本
在这里插入图片描述

安装hadoop3.3.6 集群

网络规划

主机名地址
master192.31.11.194
slave2192.31.11.195
slave3192.31.11.196
slave4192.31.11.197

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

四台机都做

添加ip映射

vi /etc/hosts

在/etc/hosts的末尾添加

192.31.11.194 master
192.31.11.195 slave2
192.31.11.196 slave3
192.31.11.197 slave4

集群每台都加上

修改主机名

在master,slave2,slave3,slave4 机，使用root用户分别执行
hostnamectl set-hostname master
hostnamectl set-hostname slave2
hostnamectl set-hostname slave3
hostnamectl set-hostname slave4

创建hdfs用户

为了安全起见，不建议直接使用root用户，在集群每台机创建

sudo useradd hdfs -m -s /bin/bash
sudo passwd hdfs  # 设置密码

配置免密登录

切换到master机器,切换到hdfs用户，创建密钥

su - hdfs
ssh-keygen -t rsa

都默认敲回车就行

把公钥复制到各个节点，第一次登陆会让输入密码

ssh-copy-id hdfs@master
ssh-copy-id hdfs@slave2
ssh-copy-id hdfs@slave3
ssh-copy-id hdfs@slave4

验证免密是否成功
ssh slave2
在这里插入图片描述
如上图表示成功

安装hadoop3.3.6

解压tar包
tar -zxvf /setup/hadoop3.3.6.tar.gz -C /opt
修改配置文件

1.配置Hadoop环境变量

vi /etc/profile

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

测试Hadoop环境变量是否成功
在这里插入图片描述
2.hadoop-env.sh

cd $HADOOP_HOME/etc/hadoop
vi hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_201/
 
export HDFS_NAMENODE_USER=hdfs
export HDFS_DATANODE_USER=hdfs
export HDFS_SECONDARYNAMENODE_USER=hdfs
export YARN_RESOURCEMANAGER_USER=hdfs
export YARN_NODEMANAGER_USER=hdfs

3.core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-3.3.6</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hdfs</value>
    </property>
    <property>
    	<name>hadoop.proxyuser.root.hosts</name>
    	<value>*</value>
    </property>
    <property>
   	<name>hadoop.proxyuser.root.groups</name>
    	<value>*</value>
    </property>
    <property>
   	<name>fs.trash.interval</name>
    	<value>1440 </value>
    </property>
</configuration>

4.hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave2:9868</value>
    </property>
</configuration>
  1. mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>master:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>master:19888</value>
        </property>
</configuration>

6.yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
    </property>
    <property>
            <name>yarn.nodemanager.vpmem-check-enabled</name>
            <value>false</value>
    </property>
    <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>
    <property>  
            <name>yarn.log.server.url</name>
            <value>http://master:19888/jobhistory/logs</value>
    </property>
    <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>604800</value>
    </property>
</configuration>

7.workers

vi workers

将localhost改为
在这里插入图片描述

文件分发

文件从master机器分发到其他三台机，省得再配一遍

分发jdk安装目录
scp -r /usr/java/jdk1.8.0_201 hdfs@slave2:~
scp -r /usr/java/jdk1.8.0_201 hdfs@slave3:~
scp -r /usr/java/jdk1.8.0_201 hdfs@slave4:~

因为hdfs用户没有权限直接访问/usr目录，所以先复制到它的Home目录，然后再本机root用户再挪位置
slave2,slave3,slave4 三台执行以root用户如下命令

# mkdir /usr/java
# mv /home/hdfs/jdk1.8.0_201 /usr/java/jdk1.8.0_201
分发hadoop安装目录
scp -r /opt/hadoop3.3.6 hdfs@slave2:~
scp -r /opt/hadoop3.3.6 hdfs@slave3:~
scp -r /opt/hadoop3.3.6 hdfs@slave4:~

同理切换到各自机器使用root用户挪到/opt目录

分发环境变量
scp -r /etc/profile hdfs@slave2:~
scp -r /etc/profile hdfs@slave3:~
scp -r /etc/profile hdfs@slave4:~

同理切换到各自机器使用root用户挪到/etc目录

启停集群

hdfs用户授权（四台机都执行）
sudo chown -R hdfs:hdfs /opt/hadoop3.3.6
sudo chmod -R 755 /opt/hadoop3.3.6
sudo setfacl -R -m u:hdfs:rx /usr/java
sudo chmod +x /usr/java/jdk1.8.0_201/bin/java
sudo chown -R root:root /usr/java/jdk1.8.0_201

在slave2、slave3，slave4 中使用source /etc/profile命令初始化系统环境变量

验证是否有权限
ssh hdfs@slave2 "java -version"

在这里插入图片描述
如果能显示java版本号，就表示有权限

在master机器启动集群

首次启动集群需要先格式化 NameNode 节点

在master上执行

hdfs namenode -format

启动集群

start-dfs.sh
start-yarn.sh

四台节点jps查看
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
网页界面
本地浏览器中查看 Hadoop web 界面：192.31.11.194 :9870(看文件结构），
如果要看任务运行，进入192.31.11.194:8088
在这里插入图片描述

停止集群
stop-all.sh

最后

好，hadoop3.3.6集群部署，就写到这里。如需沟通：lita2lz

longxibo
关注
Hadoop3.3.6完全分布式集群【三个节点】的安装配置
weixin_45962133的博客
07-12 2664
hadoop3.3.6完全分布式集群部署，三个节点配置
Hadoop 3.3.6分布式集群环境搭建
liaodaoguo的博客
11-13 983
一共准备了3台centOS虚拟机，master、slave1、slave2在 %wheel下一行添加内容注意：要所有服务器执行完上面命令才进行下面的操作其他主机上同理执行。
Hadoop部署(HA)(版本3.3.6)
m0_72596529的博客
08-28 2238
一.前言 hadoop高可用集群分为 主备的namenode resourcemanager 数据同步监听的journalnode 和zkfc监控 部署规划如下 jdk版本选用 jdk-11.0.24 zookeeper版本选用3.6.3 二. 部署过程 2.1 jdk部署 #下载jdk11.0.24安装包 解压 创建软连接 tar -zxvf jdk-11.0.24_linux-x64_bin.tar.gz ln -s /home/user1/jars/jdk-11.0.24/ jdk #修改环境变量
hadoop-3.3.6
最新发布
06-06
hadoop-3.3.6
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
weixin_43655425的博客
12-08 2392
一文搞定Hadoop完全分布式部署
3.hadoop3.3.6 HA集群搭建
YaxiongJiang的博客
02-17 897
软件版本参考：hl=zh-cnhadoop HA, 主要分为HDFS的HA和YARN的HA。集群规划。
【Hadoop-3.3.6 完全分布式的保姆级教程】
2203_75584759的博客
07-08 1640
解决了mapreduce找不到主类的错误
Hadoop3.3.6 HA分布式安装
weixin_43838444的博客
08-30 650
Hadoop3.3.6 HA分布式安装 安装JAVA环境 安装Zookeeper环境 编译Hadoop源码 安装Hadoop cd /export/software tar -zxvf hadoop-3.3.6.tar.gz -C ../server/ cd ../server/hadoop-3.3.6/ 配置hadoop-env.sh export JAVA_HOME=/export/server/jdk1.8.0_241 export HADOOP_PID_DIR=/export/
hadoop 3.3.6 HA安装
jeady82的专栏
08-05 917
大数据hadoop 3.3.6 分布式安装
Hadoop(02) Hadoop-3.3.6 集群的配置教程
weixin_38735917的博客
10-03 4696
为了简化分布式模式的部署难度，我们可以使用两个节点（两台物理机器）来搭建一个简单的集群环境。为了便于区分，我们将其中一台机器将作为Master节点，其主机名命名为hadoop01；另一台机器将作为Slave节点，其主机名命名为hadoop02。如果需要构建由三个以上节点组成的集群，可以采用类似的方法进行安装和部署。
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。适用于用户进行大数据处理和存储的需求。下载后请按照官方文档进行安装和配置。
【Hadoop3.3.6全分布式环境搭建】
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
04-20 1425
上传jdk-8u171-linux-x64.tar.gz到/root目录下，然后执行下面的命令进行解压安装。如果不一样的话，我们在执行MapReduce程序的时候可能会存在问题.。将master上的hadoop环境复制到slave01 slave02。1）搭建一个时间同步的服务器，网上很多教程可以使用。4、配置免密码登录（配置两两之间的免密码登录）3、所有主机都需要配置主机名映射关系。所有的机器都需要产生一对密钥：公钥和私钥。
Hadoop-3.3.6完全分布式集群安装
m0_63480823的博客
09-09 451
Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机。Step2：在克隆的虚拟机内输入命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33并修改ip。Step7：在每台虚拟机上输入：vi /etc/hosts 写入三个虚拟机的的ip地址和主机名。Step8：分发jdk，在master主机上输入cd /opt（打开解压后的jdk所在文件夹）
Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x，zookeeper-3.8.3
xinglu20的博客
11-21 4149
/修改 zoo.cfg 配置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录。重点：以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限。推荐一口气配置完在进行给予权限和进行配置文件的刷新，以及最后的分发。在安装过程中推荐设置root用户密码为1234方面后续操作。权限 给 hadoop 用户配置相关权限。hadoop2,3分别创建软连接。hadoop2,3创建软连接。hadoop2 修改为2。hadoop3 修改为3。以hadoop3为例。
Hadoop(01) Hadoop3.3.6安装教程，单机/伪分布式配置
weixin_38735917的博客
09-26 8541
在安装 Hadoop 3.3.6 前，需要满足以下前置条件：Java Development Kit (JDK)：Hadoop 是用 Java 编写的，因此需要安装并配置适当版本的 JDK。Hadoop 3.3.6 建议使用 JDK 8 或更高版本。确保正确安装 JDK，并设置 JAVA_HOME 环境变量。SSH：Hadoop 集群中的节点需要通过 SSH 进行通信和管理。确保在所有节点上安装和配置了 SSH，并且可以通过 SSH 无密码登录到集群的各个节点。
Hadoop-3.3.6完全分布式集群搭建
m0_62929925的博客
09-10 1593
右击创建好的虚拟机hadoop base，选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称，安装位置-完成。设置静态ip，与主节点ljl的hosts文件保持一致，设置成功重启网络。首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。打开Xshell7,左上角新建文件，在弹出框设置两个从节点的名称和ip地址，然后连接，随后输入root账号密码完成连接。回到主节点ljl，执行。
（保姆级）Hadoop-3.3.6、jdk_8u381搭建（大数据入门）
hsh241817的博客
11-23 5828
保姆级带领新手小白，完成hadoop-3.3.6、jdk_8u381的搭建
【数据仓库】hadoop3.3.6 安装配置
花菜回锅肉的博客
12-31 1689
该文档是基于hadoop3.2.2版本升级到hadoop3.3.6版本，所以有些配置，是可以不用做的，下面仅记录新增操作，其他操作参见其他文章Hadoop3.2.1安装-单机模式和伪分布式模式。
hadoop3.3.6集群配置
12-29
### Hadoop 3.3.6 集群配置教程 #### 创建用户和安装Java环境 为了确保Hadoop能够正常运行，在所有节点上创建`hadoop`用户，并为其设置密码。之后，安装JDK并配置JAVA_HOME环境变量[^2]。 ```bash sudo useradd hadoop echo "hadoop:hadoop" | sudo chpasswd ``` 接着，下载并解压JDK至指定目录，编辑`.bashrc`文件来设定必要的环境变量： ```bash export JAVA_HOME=/usr/local/jdk1.8.0_XXX export PATH=$PATH:$JAVA_HOME/bin ``` #### SSH无密码登录配置 为了让各个节点之间可以无障碍通信，需配置SSH免密登录功能。这一步骤对于后续的数据传输至关重要[^3]。 ```bash ssh-P &#39;&#39; -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` #### 复制Hadoop安装文件到集群各节点 通过SCP命令将本地已准备好的Hadoop压缩包分发给其他成员机器上的相同路径下[^1]。 ```bash scp -qr /opt/app/hadoop-3.3.6 hadoop101:/opt/app/ scp -r /opt/app/hadoop-3.3.6 hadoop102:/opt/app/ ``` #### 修改核心配置文件 进入Hadoop的配置目录，调整如下几个重要参数以适应实际部署情况: - `core-site.xml`: 设置namenode主机名以及默认FS URI。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> ``` - `hdfs-site.xml`: 指定数据存储位置以及其他高级选项。 ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` - `yarn-site.xml`: 如果启用了YARN，则还需进一步定制资源管理器相关属性。 最后执行初始化操作完成整个过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值