Hadoop系列之伪分布式环境搭建

zhuimengzhe5

于 2019-08-28 16:21:27 发布

阅读量276

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： Hadoop

本文链接：https://blog.csdn.net/zhuimengzhe5/article/details/100104644

大数据专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何在单机环境下搭建Hadoop的伪分布式系统，包括配置core-site.xml、hdfs-site.xml、mapreduce-site.xml、yarn-site.xml和hadoop-env.sh文件，启动HDFS与YARN，以及设置SSH免密登录。通过这些步骤，读者可以成功建立并管理Hadoop的HDFS文件系统和资源管理器。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：

前面描述了Hadoop环境的搭建，本文将搭建单机环境下Hadoop的HDFS文件管理系统等。

一、修改配置文件

先来看一下Hadoop的目录结构

Hadoop的配置文件放在etc/Hadoop/下

1、修改core-site.xml，配置文件系统和数据存放目录

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://tommy01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/admin/app/hadoop-2.7.7/data/</value>
    </property>
</configuration>

这里的value根据自己的系统去配置，我的主机名为tommy01,数据文件直接在hadoop目录下创建了一个data文件夹。

2、修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs:replication</name>
        <value>1</value>
    </property>
</configuration>

这里是设置hdfs的数据块备份数，一般设置为3比较合理，此处为伪分布式，没有配置集群，设置为1个备份。

3、修改mapreduce-site.xml

在配置文件下只有 mapreduce-site.xml.template 文件，我们需要重命名为mapreduce-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name </name>
        <value>yarn</value>
    </property>
</configuration>

这里是指定使用什么框架去处理map和reduce任务。

4、修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>tommy01</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置rosourceManager主机，配置shuffle处理机制。

5、修改hadoop的读取环境变量hadoop-env.sh

此处的JAVA_HOME最好写死。

6、以上配置完成之后，我们可以启动HDFS

6.1、在启动之前先要格式化HDFS hadoop namenode -format；

6.2、关闭Linux系统的防火墙：service iptables stop;该命令只是本次生效，下次启动时防火墙依然存在，要想永久关闭可以使用 chkconfig iptables off

6.3、在hadoop/sbin下有许多运行文件，使用 start-dfs.sh来启动hdfs文件系统。

[admin@tommy01 hadoop-2.7.7]$ cd sbin/
[admin@tommy01 sbin]$ start-dfs.sh
19/08/28 00:57:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [tommy01]
tommy01: starting namenode, logging to /home/admin/app/hadoop-2.7.7/logs/hadoop-admin-namenode-tommy01.out
localhost: starting datanode, logging to /home/admin/app/hadoop-2.7.7/logs/hadoop-admin-datanode-tommy01.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/admin/app/hadoop-2.7.7/logs/hadoop-admin-secondarynamenode-tommy01.out
19/08/28 00:57:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[admin@tommy01 sbin]$

因为我配置了ssh免密登录，在没有配置的时候，要输入密码。现在NameNode,DataNode.SecondryNameNode都已经启动了，我们可以来看一下进程。