Cenos 7 搭建 hadoop

个人备忘

什么是hadoop ?

hadoop 是一个由Apache基金会所开发的分布式系统基础架构。Apache Hadoop 项目是用于开发可靠，可扩展，分布式计算的开源软件。Apache Hadoop 软件库是一个框架，允许使用简单的编程模型在大量计算机上对大型数据集进行分布式处理。

核心1
HDFS —–分布式文件系统

核心2
MapReduce –分布式计算框架

命令如下（单点伪分布） ：

//下载
[root@VM_12_177_centos hadoop]# wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz

//解压
[root@VM_12_177_centos hadoop]# tar -zxvf hadoop-2.8.1.tar.gz -C /agui/hadoop/

//修改配置文件
[root@VM_12_177_centos hadoop]# vim /etc/profile

#hadoop
export HADOOP_HOME=/agui/hadoop/hadoop-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin

[root@VM_12_177_centos hadoop]# source /etc/profile

//修改主机名
[root@VM_12_177_centos hadoop]# vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=agui

//修改host
[root@VM_12_177_centos hadoop]# vim /etc/hosts

123.206.66.232 agui


//说明
/etc/profile 功能 ： 任何位置都可以使用hadoop 命令，不需要到hadoop安装目录。
/etc/sysconfig/network  /etc/hosts  ， 设置主机名，主机名和ip 的映射，这样我们可以通过主机名来配置 master 和 slave之间的ip 配置项。


//继续修改配置文件（如下四个重要配置）
[root@VM_12_177_centos hadoop-2.8.1]# cd etc/hadoop/
[root@VM_12_177_centos hadoop]# ll
total 156
-rw-rw-r-- 1 500 500   774 Jun  2 14:24 core-site.xml
-rw-rw-r-- 1 500 500   775 Jun  2 14:24 hdfs-site.xml
-rw-rw-r-- 1 500 500   690 Jun  2 14:24 yarn-site.xml
-rw-rw-r-- 1 500 500    10 Jun  2 14:24 slaves
-rw-rw-r-- 1 500 500   758 Jun  2 14:24 mapred-site.xml.template

//第一个 core-site.xml 
[root@VM_12_177_centos hadoop]# vim core-site.xml 

//第二个 hdfs-site.xml 
[root@VM_12_177_centos hadoop]# vim hdfs-site.xml 

//第三个mapred-site.xml.template 
[root@VM_12_177_centos hadoop]# vim mapred-site.xml.template 

//第四个yarn-site.xml 
[root@VM_12_177_centos hadoop]# vim yarn-site.xml 

//配置slave 
[root@VM_12_177_centos hadoop]# vim slaves
#我们的主机名，因为我们只有一台，所以只配置主机名即可，有slave那就继续配置。
agui 

初始化&启动

//初始化
[root@VM_12_177_centos tmp]# hdfs namenode -format

//启动
start-all.sh 或者start-dfs.sh  start-yarn.sh

验证

jps , 访问50070/8088

hdfs dfs -put
hdfs dfs -mkdir