Docker部署hadoop+运行wordcount详解

一、拉取 ubuntu镜像

抓取ubuntu的镜像作为基础搭建hadoop环境

# 如果不指定版本号的话，默认拉取最新的ubuntu版本
docker pull ubuntu

二、创建容器

# 1.查看已拉取的镜像
docker images

# 2.创建容器
docker run -it --name myhadoop -p 80:80 ubuntu
# docker run :创建并运行一个容器
# -i: 以交互模式运行容器，通常与 -t 同时使用；
# -t: 为容器重新分配一个伪输入终端，通常与 -i 同时使用；
# --name:给容器起一个名字，比如叫做：myhadoop
# -p：将宿主机端口与容器端口映射，冒号左侧是宿主机端口，右侧是docker容器端口
# ubuntu：容器名称

容器启动后，会自动进入容器的控制台

在容器的控制台安装所需软件和更换源

# 3.更换国内源
sed -i s@/archive.ubuntu.com/@/mirrors.aliyun.com/@g /etc/apt/sources.list
sed -i s@/security.ubuntu.com/@/mirrors.aliyun.com/@g /etc/apt/sources.list
apt-get clean
apt-get update

安装所需软件

apt-get install net-tools vim openssh-server

/etc/init.d/ssh start

让ssh服务器自动启动

vi ~/.bashrc

在文件的最末尾按O进入编辑模式，加上：

/etc/init.d/ssh start

按ESC返回命令模式，输入:wq保存并退出。

让修改即刻生效

source ~/.bashrc

配置ssh的无密码访问

ssh-keygen -t rsa

连续按回车

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

三、安装JDK 8

进入docker中ubuntu里面的容器

安装JDK 8

hadoop 3.x目前仅支持jdk 7, 8

apt-get install openjdk-8-jdk

在环境变量中引用jdk，编辑bash命令行配置文件

vi ~/.bashrc

在文件的最末尾加上

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin

让jdk配置即刻生效

source ~/.bashrc

测试jdk正常运作

java -version

将当前容器保存为镜像

sudo docker commit a4157fc08b47 ubuntu-hadoop