Linux下基于Pseudo-Distributed的Hadoop环境搭建

       近期学习云计算课程，需要基于linux操作系统搭建伪分布式hadoop环境，主要参考文章，但其中存在部分问题，经修改后搭建过程整理如下。

1.创建hadoop用户

$ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户，并使用/bin/bash作为shell
$ sudo passwd hadoop                   #为hadoop用户设置密码，之后需要连续输入两次密码
$ sudo adduser hadoop sudo             #为hadoop用户增加管理员权限
$ su - hadoop                          #切换当前用户为用户hadoop
$ sudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

2.安装SSH,设置SSH无密码登陆

$ sudo apt-get install openssh-server   #安装SSH server
$ ssh localhost                         #登陆SSH，命令测试一下 SSH 是否可用，第一次登陆输入yes
$ exit                                 
$ cd ~/.ssh/                            #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa　　                  #使用ssh-keygen生成私钥和公钥

接下来会提示一次输入key保存位置和两次输入私钥密码，若不修改，直接回车三次即可。

然后加入授权：

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost                         #此时已不需密码即可登录localhost

3.安装jdk1.8

在oracle官网下载jdk1.8，根据对应版本选择即可，我选择的是jdk-8u221-linux-x64.tar.gz。

$ mkdir /usr/lib/jvm                           #创建jvm文件夹（若权限不够可通过sudo do回到root）
$ sudo tar zxvf jdk-7u80-linux-x64.tar.gz  -C /usr/lib/jvm #/ 解压到/usr/lib/jvm目录下（原博客路径有误）
$ cd /usr/lib/jvm                                 
$ mv  jdk1.8.0_211 java                         #重命名为java
$ vim ~/.bashrc                                 #给JDK配置环境变量

【此处仅供vim小白参考】vim编辑器进入编辑模式可以按快捷键"i"，保存并退出快捷键为"Esc"+"Shift+zz"，安装vim命令为：

$sudo apt-get install vim

在.bashrc文件添加如下指令：

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

在文件修改完毕以后，输入代码：

$ source ~/.bashrc                       #使新配置的环境变量生效
$ java -version                          #检测是否安装成功，查看java版本

4.安装hadoop-3.2.0

点击下载，安装命令如下：

$ sudo tar -zxvf  hadoop-3.2.0.tar.gz -C /usr/local    #解压到/usr/local目录下
$ cd /usr/local
$ sudo mv  hadoop-3.2.0    hadoop                      #重命名为hadoop
$ sudo chown -R hadoop ./hadoop                        #修改文件权限
$ vim ~/.bashrc                                        #给hadoop配置环境变量

 将如下内容添加到之前的jdk环境配置后面即可。

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

$ source ~/.bashrc                       #使新配置的环境变量生效
$ hadoop version                          #检测是否安装成功，查看hadoop版本（注意不是-version）

5.伪分布式配置

（1）配置hadoop-env.sh ，core-site.xml，hdfs-site.xml三个文件，命令如下：

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

hadoop-env.sh文件加入：

export JAVA_HOME=/usr/lib/jvm/java   #加入jdk1.8环境变量

core-site.xml文件：

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

hdfs-site.xml文件：

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

（2）配置四个文件：（原博客没有这一步，直接启动会出现错误）

sudo vim /usr/local/hadoop/sbin/start-dfs.sh
sudo vim /usr/local/hadoop/sbin/stop-dfs.sh
sudo vim /usr/local/hadoop/sbin/start-yarn.sh
sudo vim /usr/local/hadoop/sbin/stop-yarn.sh

对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：

#!usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：

#!usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

（3）配置完成后，执行 NameNode 的格式化

$ ./bin/hdfs namenode -format

（4）启动进程，并查看启动结果

$ ./sbin/start-all.sh
$ jps

       访问网址http://localhost:9870（注意：hadoop3.0以后版本端口号不再是50070）查看 NameNode 和 Datanode 信息，若成功访问web界面，说明配置成功，如果不成功可能有以下问题：

A.ssh配置无密码登陆后再次出现请求输入密码的情况

   输入命令：

$vim /etc/ssh/sshd_config

检查PermitRootLogin 后面是否为yes，如果不是，则将该行代码中PermitRootLogin 后面的内容删除，改为yes。同时参考文章第2步再次设置免密登录。

输入下列代码重启SSH服务：

$ /etc/init.d/sshd restart

6.写在后面

按照以上操作在我的系统中搭建成功，如果大家按照上述过程搭建存在错误，欢迎留言指正。