Linux部署HDFS集群前置准备

最新推荐文章于 2024-09-15 23:09:33 发布
原创 最新推荐文章于 2024-09-15 23:09:33 发布 · 1.1k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #hdfs #运维

二、VMware准备Linux虚拟机

三、VMware虚拟机系统设置

（一）对三台虚拟机完成主机名、固定IP、SSH免密登陆等系统设置

1.配置固定IP地址

  • 打开控制台，切换到root用户
    su -

    image-20231124162624179

  • 修改主机名、IP地址
    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    image-20231124162825678

​ ifcfg-ens33原内容

image-20231124163749081

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no" 
BOOTPROTO="static"  
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes" 
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no" 
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="f9a9b662-82cf-4c69-8d42-a70c955686fd"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

  • 将BOOTPROTO由hdcp改为static，即由动态获取ip改为静态设置ip

  • IPADDR：IP地址,每台主机不一样

  • NETMASK：子网掩码

  • GATEWAY：网关

  • DNS1：DNS，一般跟网关一样的IP

  • 修改成功
    systemctl restart network
ifconfig

    image-20231124164247080

2.配置主机映射

  • 修改Windows（自己电脑上的）的host文件

    image-20231124165157120

  • 添加相应配置（保存需要管理员权限，此处用的sublime编辑器，可以管理员身份运行编辑器，vscode也可）

    image-20231124165345502

  • 修改linux的配置

    • 先使用finallshell连接三台服务器

      image-20231124165829752

    • 修改每台linux的host文件

      vim /etc/hosts

      image-20231124170629700

3.配置SSH免密登录

后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆

  • 在每一台机器都执行：ssh-keygen -t rsa -b 4096，一路回车到底即可

    • 按照rsa格式生成

    • 长度为4096位

    • 查看构建的私钥和公钥

      image-20231124171713811

  • 在每一台机器都执行：

    ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

    • 自动化完成免密登录授权

    • 在每一台机器都执行到node1、node2、node3的免密登录的授权操作，这样几台机器就可与互相免密操作

    • 测试node1到node3的免密访问 （能直接用node3是因为hosts文件里面配置了主机名到IP的映射）

      image-20231124172022254

  • 执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通

4.配置hadoop用户（普通用户）的免密登录

后续大数据的软件，将不会以root用户启动（确保安全，养成良好的习惯）我们为大数据的软件创建一个单独的用户hadoop，并为

  1. 在每一台机器执行：useradd hadoop，创建hadoop用户

  2. 在每一台机器执行：passwd hadoop，设置hadoop用户密码为123456

  3. 在每一台机器均切换到hadoop用户：su - hadoop，并执行 ssh-keygen -t rsa -b 4096，创建ssh密钥

  4. 在每一台机器均执行

    ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

（二）JDK环境部署

1.下载JDK

https://www.oracle.com/java/technologies/downloads

2.配置JDK环境

每个节点都需要

  1. 创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server 内

    mkdir -p /export/server

  2. 解压缩JDK安装文件

    tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server

  3. 配置JDK的软连接

    ln -s /export/server/jdk1.8.0_361 /export/server/jdk

  4. 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

    vim /etc/profile

    # 编辑/etc/profile文件
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

  5. 生效环境变量

    source /etc/profile

  6. 配置java执行程序的软连接

    # 删除系统自带的java程序
rm -f /usr/bin/java
# 软连接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

  7. 执行眼睁睁

    java -version
javac -version

  8. 复制jdk到另一个服务器

    scp -r jdk1.8.0_361 node2:`pwd`/

（三）防火墙、SELinux、时间同步

对三台虚拟机完成防火墙、SElinux、时间同步等系统设置

1.关闭防火墙和SELinux

  • 集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。

    每台机器都执行

    systemctl stop firewalld
systemctl disable firewalld  # 防止开机自启

  • Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。
    在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可

    每台机器都执行

    vim /etc/sysconfig/selinux

# 将第七行，SELINUX=enforcing 改为
SELINUX=disabled
# 保存推出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统

2.修改时区并配置自动时间同步

​ 以下操作在三台Linux均执行

  1. 安装ntp软件

    yum install -y ntp

  2. 更新时区

    rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

  3. 同步时间

    ntpdate -u ntp.aliyun.com

  4. 开启ntp服务并设置开机自启

    systemctl start ntpd
systemctl enable ntpd

（四）完成设置，拍摄快照

1.关闭虚拟机

2.拍摄快照

image-20231124195845768

Linux搭建HDFS集群
Bigllliu_xxoo
07-01 918
不是安装一个软件，而是安装一群软件！先用Windows到Hadoop官网上下载我们自己所要使用的相应版本的.tar包，并复制我们用vmware所搭建好的Linux虚拟机里边， tar -xzvf 包名  -C 想要放到的目录。重点：配置文件修改   vim hadoop-2.8.3/etc/hadoop/hdfs-site.xmlNAMENODE：指定NAMENODE在什么机器、什么端口工作：df...
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Gongmoye的博客
04-08 1574
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Linux部署HDFS集群
pengpm的博客
11-29 1477
ps、其中node1、node2、node3替换为自己相应节点的IP地址，或者host文件中配置过的主机名，或者看前置准备。目前，已经基本完成Hadoop的配置操作，可以从node1将hadoop安装文件夹远程复制到node2、node3。为了方便我们操作Hadoop，可以将Hadoop的一些脚本、程序配置到PATH中，方便后续使用。以root身份，在node1、node2、node3三台服务器上均执行如下命令。在node2执行，为hadoop配置软链接。在node3执行，为hadoop配置软链接。
Linux - HDFS部署
weekeight
05-19 1809
Linux -HDFS部署
Hadoop大数据应用：Linux 部署 HDFS 分布式集群
cronaldo91的博客
03-14 1619
（需要修改环境配置文件hadoop-env.sh 申明JAVA安装路径和hadoop配置文件路径）ssh-copy-id 未对本地主机验证。datanode节点查看（node01）datanode节点查看（node02）datanode节点查看（node03）ssh-copy-id 对本地主机验证。（7）hadoop节点创建密钥。查看日志（新生成logs目录）（10）修改HDFS配置文件。（9）查看HDFS配置文件。（6）修改节点配置文件。（8）修改核心配置文件。（18）web页面验证。
Hadoop大数据应用：Linux 部署 HDFS 分布式集群_linux操作hdfs(1)
2401_83974173的博客
05-01 527
查看核心配置文件文件系统配置参数：数据目录配置参数：（8）修改核心配置文件修改前：（9）查看HDFS配置文件namenode:副本数量：（10）修改HDFS配置文件修改前：(11) 查看同步同步（12）初始化hdfs（13）查看命令（14）格式化hdfs查看目录(15) 启动集群查看目录启动查看日志（新生成logs目录）查看jpsdatanode节点查看（node01）datanode节点查看（node02）datanode节点查看（node03）(16)查看命令（17）验证集群。
【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程
锵锵锵锵蒋的博客
04-19 3481
【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程:包括1.配置workers: 2.配置hadoop-env.sh文件 3.配置core-site.xml文件 4.配置hdfs-site.xml文件 准备数据目录 分发Hadoop文件夹 配置环境变量 授权为hadoop用户 格式化文件系统 错误排查方法!!
【Linux-Hadoop集群部署】基于Apache Hadoop 2.10.2的分布式文件系统与资源管理配置：从环境搭建到集群启动全流程详解描述了在Linux
最新发布
05-20
内容概要：本文档详细介绍了在Linux环境下搭建Hadoop集群的步骤，包括前置条件如Java与Zookeeper的配置，以及从下载、解压Hadoop软件包到最终集群启动的一系列操作流程。重点描述了多个关键配置文件（如hadoop-env....
CDH集群安装前置准备及检查，CDH集群安装5.11.2版本
04-12
本文将深入探讨CDH集群安装的前置准备与检查，以及如何安装CDH 5.11.2版本。 首先，CDH 5.11.2是Cloudera在2017年发布的一个稳定版本，它包含了多个大数据处理组件，如Hadoop、HBase、Spark、Impala等，为企业提供...
集群软件在linux上的安装
qq_40603125的博客
09-15 1285
SSH服务是一种用于远程登录的安全认证协议。我们通过FinalShell远程连接到Linux，就是使用的SSH服务。通过账户+密码的认证方式来做用户认证通过账户+秘钥文件的方式做用户认证SSH可以让我们通过SSH命令，远程的登陆到其它的主机上，比如：在node1执行：ssh root@node2，将以root用户登录node2服务器，输入密码即可成功登陆或者ssh node2，将以当前用户直接登陆到node2服务器。
Linux环境搭建Hadoop及完全分布式集群
cleverstronge的博客
03-10 2863
本人通过学习Hadoop以及搭建Hadoop集群所整理的快速搭建完全分布式集群代码模板
Centos7部署轻量级自动化运维工具pssh (亲测)_centos7
2401_85131702的博客
09-06 1103
172.16.1.112: 2020年 06月 02日 星期二 09:59:48 CST。172.16.1.16: 2020年 06月 02日 星期二 09:59:48 CST。批量执行date命令。
linux配置hdfs
qq_43077857的博客
12-14 693
首先将hdfs上传上来 然后解压 然后配置 进入这里 这个文件 然后将这些都复制到其它节点 之后改下每个节点的ip 主机名映射 2、所有节点修改/etc/hosts文件 vi /etc/hosts 打开之后的内容是： 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 loca...
CentOS7 linux 详细 Hadoop完全分布式配置与启动
天天开心
02-23 674
因为我是先配置了伪分布式，在此基础上配置完全分布式，所以有些文件不用修改，就没有截图，但是步骤都有的。 配置的内容均以我自己的环境为基础。 1 环境准备 从已有的hadoop01，克隆2台虚拟机分别为hadoop02，hadoop03。 ...
HDFS安装、配置以及基本使用
热门推荐
Hello World
01-16 1万+
HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的（本地文件系统的方式是基于系统调用的，当然也有类似NFS这样的网络文件系统可以使用和本地文件系统相同的访问方式，那是因为已经在内核中安装了NFS，而HDFS只是一个应用层的服务程序罢了）。但是这些命令看上去还是和常用的shell命令很类似的
Linux安装hadoop和HDFS
崔崇东的博客
03-29 5500
上传大数据包centos6.5-hadoop-2.6.4.tar.gz hadoop包下载地址:https://download.csdn.net/download/weixin_39549656/10313902 安装在root目录下的apps目录下 # tar -zxvf centos6.5-hadoop-2.6.4.tar.gz -C apps/ 更改配置文件 配置文件...
Linux下安装Hadoop(2.7.1)详解及WordCount运行
doupeihua的专栏
07-05 934
一、引言 在完成了Storm的环境配置之后，想着鼓捣一下Hadoop的安装，网上面的教程好多，但是没有一个特别切合的，所以在安装的过程中还是遇到了很多的麻烦，并且最后不断的查阅资料，终于解决了问题，感觉还是很好的，下面废话不多说，开始进入正题。 本机器的配置环境如下： Hadoop(2.7.1) Ubuntu Linux(64位系统) 下面分为几个步骤来详解配置过程。 二、安装ssh服
Linux环境下HDFS安装
xiaohu21的博客
08-15 3261
Linux环境下Hadoop集群安装 1.安装环境 VMWare15.x centos7.x hadoop 3.2.1 2.第一台虚拟机基础配置 2.1 先安装好一台linux虚拟机，并且设置好宿主windows的ip地址，VMWare中虚拟交换机的地址（宿主windows和虚拟交换机的ip地址必须同一网段，并且宿主windows的网关ip需要设置为虚拟交换机的ip地址）。 2.2设置好这台虚拟linux的配置，包括主机名（/etc/hosname）、ip地址/网关/子网掩码/DNS1等信息（/et
linux搭建hdfs
weixin_42119153的博客
08-29 1776
1、设置静态IP 设置静态IP https://blog.csdn.net/weixin_42119153/article/details/100124300#commentBox https://blog.csdn.net/weixin_42119153/article/details/100124300#commentBox 2、安装jdk 安装jdk https://blog.csdn.ne...
在linux系统上安装hbase集群
03-16
### HBase 集群安装配置教程 #### 准备工作 在Linux系统上搭建HBase集群之前，需确保已准备好必要的软硬件环境。HBase依赖于Zookeeper、JDK以及Hadoop（特别是HDFS）。因此，在开始安装前，请确认已完成以下前置准备工作[^2]。 - 安装并配置好Java开发工具包（JDK） - 成功部署Zookeeper集群 - 正确设置Hadoop分布式文件系统（HDFS） 这些组件的正确运行对于后续HBase集群的成功构建至关重要。 #### 下载与解压HBase安装包 访问Apache官方网站或其他可信源站点下载适合版本的HBase安装包。例如，可以选用`hbase-1.2.1-bin.tar.gz`或者更高级别的稳定版如`hbase-2.5.10-bin.tar.gz`[^3]。通过命令行执行解压缩操作： ```bash tar -zxvf hbase-2.5.10-bin.tar.gz -C /usr/local/ ``` 此步骤会将HBase二进制文件提取到指定路径下。 #### 环境变量设定 为了简化管理流程，推荐把HBase及其关联服务(ZooKeeper)的相关目录加入全局环境变量中。编辑 `/etc/profile` 文件来添加如下内容: ```bash export HBASE_HOME=/usr/local/hbase-2.5.10 export PATH=$PATH:$HBASE_HOME/bin export ZOOKEEPER_HOME=/path/to/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin ``` 保存修改后的profile文档并通过source指令使其生效[^4]: ```bash source /etc/profile ``` #### 修改核心配置文件 进入刚刚解压出来的HBase根目录下的conf子目录，找到几个主要配置档进行调整适配当前网络架构需求。 ##### `hbase-site.xml` 这是最重要的XML格式参数定义档案之一，用于规定存储位置以及其他重要选项。以下是基本样例片段： ```xml <configuration> <!-- 设置HBase数据存放在哪个HDFS --> <property> <name>hbase.rootdir</name> <value>hdfs://namenode_host:8020/hbase</value> </property> <!-- 使用远程ZK实例列表 --> <property> <name>hbase.zookeeper.quorum</name> <value>zknode1,zknode2,zknode3</value> </property> <!-- Zookeeper客户端端口 --> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <!-- 是否启用分布模式，默认false表示单机测试模式--> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> </configuration> ``` 以上各节点名称应替换实际服务器主机名或IP地址信息[^1]. ##### `regionservers` 列出所有作为RegionServer角色参与工作的机器清单。每台设备占据单独的一行记录即可。 #### 启动服务 当上述各项均妥善处理完毕之后，则可依次启动各个组成部分的服务进程。先激活ZooKeeper集合体再开启HBase整体框架结构。 ```bash # 开启ZooKeeper服务(如果尚未自动随HBase一同触发的话) $ zkServer.sh start # 接着初始化整个HBase生态系统 $ start-hbase.sh ``` 最后可通过浏览器查看Web UI界面验证状态正常与否(http://master_node_ip:16010/)。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值