Docker存储卷：COW机制与容器数据持久化-CSDN博客

docker源码部署httpd 存储卷部署网站

Docker存储卷

COW机制

Docker镜像由多个只读层叠加而成，启动容器时，Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。

如果运行中的容器修改了现有的一个已经存在的文件，那么该文件将会从读写层下面的只读层复制到读写层，该文件的只读版本依然存在，只是已经被读写层中该文件的副本所隐藏，这就是“写时复制(COW)”机制。

对于这种方式来说，我们去访问一个文件，修改和删除等一类的操作，其效率会非常的低，因为隔着很多层镜像。

而要想绕过这种限制，我们可以通过使用存储卷的机制来实现。

什么是存储卷

存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着，当我们在容器中的这个目录下写入数据时，容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。

在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。

使用存储卷的好处

如果容器中跑的进程的所有有效数据都保存在存储卷中，从而脱离容器自身文件系统之后，带来的好处是当容器关闭甚至被删除时，只要不删除与此容器绑定的在宿主机上的这个存储目录，我们就不用担心数据丢失了。因此就可以实现数据持久，脱离容器的生命周期而持久。

我们通过这种方式管理容器，容器就可以脱离主机的限制，可以在任意一台部署了docker的主机上跑容器，而其数据则可以置于一个共享存储文件系统上，比如nfs。

Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的，也就是说宿主机上有一块属于自己的硬盘，这个硬盘并没有共享给其他的Docker主机，而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。

这就意味着容器在这台主机上停止运行或者被删除了再重建，只要关联到硬盘上的这个目录下，那么其数据还存在。但如果在另一台主机上启动一个新容器，那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上，那么这个问题就不再是问题了。

为什么要用存储卷

关闭并重启容器，其数据不受影响，但删除Docker容器，则其更改将会全部丢失。

[root@localhost ~]# docker run -it --name yy busybox
/ # ls
bin   dev   etc   home  proc  root  sys   tmp   usr   var
/ # mkdir /data
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var
/ # echo 'hello yy' > data/index.html
/ # cat data/index.html 
hello yy

//新开终端查看
[root@localhost ~]# df -h
文件系统             容量  已用  可用 已用% 挂载点
devtmpfs             875M     0  875M    0% /dev
tmpfs                895M     0  895M    0% /dev/shm
tmpfs                895M  8.8M  886M    1% /run
tmpfs                895M     0  895M    0% /sys/fs/cgroup
/dev/mapper/cs-root   66G  2.5G   63G    4% /
/dev/sda1           1014M  195M  820M   20% /boot
/dev/mapper/cs-home   32G  260M   32G    1% /home
tmpfs                179M     0  179M    0% /run/user/0
overlay               66G  2.5G   63G    4% /var/lib/docker/overlay2/65b28af1ee70c4ae8b7792089cef2cfcf2370ef86831b3599f22df86b0ab7630/merged
[root@localhost ~]# cd /var/lib/docker/overlay2/65b28af1ee70c4ae8b7792089cef2cfcf2370ef86831b3599f22df86b0ab7630/merged
[root@localhost merged]# ls
bin  data  dev  etc  home  proc  root  sys  tmp  usr  var


//退出容器
/ # exit
[root@localhost ~]# 
[root@localhost ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND   CREATED         STATUS                      PORTS     NAMES
c648d0ddc8c3   busybox   "sh"      2 minutes ago   Exited (0) 35 seconds ago             yy

//退出容器后数据仍在
[root@localhost merged]# ls
bin  data  dev  etc  home  proc  root  sys  tmp  usr  var

//删除容器
[root@localhost ~]# docker rm yy
yy

//数据丢失
[root@localhost merged]# ls
[root@localhost merged]#

因此Docker存在的问题有：

存储于联合挂载文件系统中，不易于宿主机访问
容器间数据共享不便
删除容器其数据会丢失

而要解决这些问题，解决方案就是使用存储卷。

存储卷管理方式

存储卷（Data Volume）于容器初始化时被自动创建，由base image提供的卷中的数据会于此期间完成复制。

Volume的初衷是独立于容器的生命周期实现数据持久化，因此删除容器之时既不会删除卷，也不会对未被引用的卷做垃圾回收操作。

存储卷为Docker提供了独立于容器的数据管理机制，我们可以把镜像想象成静态文件，例如“程序”，把卷类比为动态内容，例如“数据”。所以镜像可以重用，而卷则可以共享。

卷实现了“程序(镜像)”和“数据(卷)”的分离，以及“程序(镜像)”和“制作镜像的主机”的分离，用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。

存储卷的分类

Docker有两种类型的卷，每种类型都在容器中存在一个挂载点，但其在宿主机上的位置有所不同：

绑定挂载卷
指向主机文件系统上用户指定位置的卷
Docker管理的卷
Docker守护进程在主机文件系统的一部分中创建托管卷，这些卷归Docker所有

容器数据管理

用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据，或者需要把容器内的数据进行备份，甚至多个容器之间进行数据的共享，这必然涉及容器的数据管理操作。

容器中管理数据主要有两种方式：

数据卷（Data Volumes）
数据卷容器（Data Volumes Containers）

容器Volume使用语法：
Docker-managed volume

docker run -it --name CONTAINER_NAME -v VOLUMEDIR 
IMAGE_NAME

[root@localhost ~]# docker run -it --rm -v /data busybox
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var

[root@localhost ~]# df -h
文件系统             容量  已用  可用 已用% 挂载点
devtmpfs             875M     0  875M    0% /dev
tmpfs                895M     0  895M    0% /dev/shm
tmpfs                895M  8.8M  886M    1% /run
tmpfs                895M     0  895M    0% /sys/fs/cgroup
/dev/mapper/cs-root   66G  2.5G   63G    4% /
/dev/sda1           1014M  195M  820M   20% /boot
/dev/mapper/cs-home   32G  260M   32G    1% /home
tmpfs                179M     0  179M    0% /run/user/0
overlay               66G  2.5G   63G    4% /var/lib/docker/overlay2/550142fe354e610d37efe7458cfee92d125fbf5600b2d7154947ffb4c936877b/merged

[root@localhost ~]# docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED              STATUS              PORTS     NAMES
79895eb0272c   busybox   "sh"      About a minute ago   Up About a minute             elated_bassi
[root@localhost ~]# docker inspect 79895eb0272c
·······································
        "Mounts": [
            {
                "Type": "volume",
                "Name": "82c1ba527effcb8c3e1b1b726c5684b7d53b80be71d6e43da000fa1e6285e408",
                "Source": "/var/lib/docker/volumes/82c1ba527effcb8c3e1b1b726c5684b7d53b80be71d6e43da000fa1e6285e408/_data",      <---------
                "Destination": "/data",
                "Driver": "local",
                "Mode": "",
                "RW": true,
                "Propagation": ""
            }
········································

[root@localhost ~]# cd /var/lib/docker/volumes/82c1ba527effcb8c3e1b1b726c5684b7d53b80be71d6e43da000fa1e6285e408/_data
[root@localhost _data]# ls
[root@localhost _data]# 

[root@localhost ~]# docker run -it --rm -v /data busybox
/ # ls
bin   data  dev   etc   home  proc  root  sys   tmp   usr   var
/ # cd data/
/data # ls
/data # echo "hello huanhuan" > test
/data # ls
test

//查看
[root@localhost _data]# ls
test
[root@localhost _data]# pwd
/var/lib/docker/volumes/82c1ba527effcb8c3e1b1b726c5684b7d53b80be71d6e43da000fa1e6285e408/_data

//跟上面的方式一样 退出容器后数据也会被删除
/data # exit

[root@localhost _data]# ls
[root@localhost _data]#

Bind mount volume 绑定挂载卷

docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME


[root@localhost ~]# docker run -it --rm -v /opt/data:/data busybox
/ # cd data/
/data # ls
/data # touch abc
/data # ls
abc
/data # exit
[root@localhost ~]# 

[root@localhost ~]# ls /opt/
containerd
[root@localhost ~]# ls /opt/
containerd  data
[root@localhost ~]# cd /opt/data/
[root@localhost data]# ls
abc

//删除容器后数据依然在
[root@localhost data]# ls
abc

在容器中使用数据卷

在容器内创建一个数据卷

[root@localhost ~]# docker run -d -P --name web -v /webapp nginx    
// 这个 -P 是允许外部访问容器需要暴露的端口。

挂载一个主机目录作为数据卷

[root@localhost ~]# docker run -d -P --name web1 -v /var/www/html:/webapp nginx

上面的命令加载主机的/var/www/html目录到容器的/webapp目录：
这个功能在进行测试的时候非常方便，比如用户可以放置一些程序或数据到本地目录中，然后在容器内运行和使用。另外，本地目录的路径必须是绝对路径，如果目录不存在，Docker会自动创建。

Docker挂载数据卷的默认权限是读写(rw)，用户也可以通过(ro)指定为只读：

[root@localhost ~]# docker run -d -P --name web2 -v /var/www/html:/webapp:ro nginx

加了:ro以后，容器内挂载的数据卷的数据就无法修改了。

挂载一个本地主机文件作为数据卷
-v选项也可以从主机挂载单个文件到容器中作为数据卷：

[root@localhost ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos /bin/bash

这样就可以记录在容器输入过的命令历史了。

如果直接挂载一个文件到容器，使用文件编辑工具，包括vi或者sed去修改文件内容的时候，可能会造成inode的改变，这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。

小实验

docker源码部署httpd 存储卷部署网站

创建基于centos镜像的容器

[root@localhost ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest

[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
yzy/mysql    latest    533ef9b23221   2 days ago     3.83GB
nginx        v1        67835128ee93   2 days ago     576MB
nginx        latest    f652ca386ed1   4 days ago     141MB
busybox      latest    d23834f29b38   7 days ago     1.24MB
centos       8         5d0da3dc9764   2 months ago   231MB
centos       latest    5d0da3dc9764   2 months ago   231MB

[root@localhost ~]# docker run -itd --name httpd 5d0da3dc9764
e81442eab90964d434c504f05504c0ffec558030489c2ffa4074d318f6cbee4f
[root@localhost ~]# docker ps 
CONTAINER ID   IMAGE          COMMAND       CREATED         STATUS         PORTS     NAMES
e81442eab909   5d0da3dc9764   "/bin/bash"   6 seconds ago   Up 5 seconds             httpd

上传httpd的源码包

[root@localhost ~]# ls
anaconda-ks.cfg        httpd-2.4.48.tar.gz     
apr-1.7.0.tar.gz       
apr-util-1.6.1.tar.gz  

[root@localhost ~]# docker ps
CONTAINER ID   IMAGE          COMMAND       CREATED         STATUS         PORTS     NAMES
e81442eab909   5d0da3dc9764   "/bin/bash"   2 minutes ago   Up 2 minutes             httpd
[root@localhost ~]# docker cp /root/apr-1.7.0.tar.gz e81442eab909:/usr/src/
[root@localhost ~]# docker cp /root/httpd-2.4.48.tar.gz e81442eab909:/usr/src/
[root@localhost ~]# docker cp /root/apr-util-1.6.1.tar.gz  e81442eab909:/usr/src/

进入容器创建用户编译安装http

[root@localhost ~]# docker exec -it e81442eab909 /bin/bash
[root@e81442eab909 /]# cd /usr/src/
[root@e81442eab909 src]# ls
apr-1.7.0.tar.gz  apr-util-1.6.1.tar.gz  debug  httpd-2.4.48.tar.gz  kernels

[root@e81442eab909 src]# useradd -r -M -s /sbin/nologin httpd
[root@e81442eab909 src]# yum -y groups mark install 'Development Tools'
[root@e81442eab909 src]# yum -y install openssl-devel pcre-devel expat-devel libtool gcc gcc-c++ make

[root@e81442eab909 src]# tar xf apr-1.7.0.tar.gz
[root@e81442eab909 src]# ls
apr-1.7.0         apr-util-1.6.1.tar.gz  httpd-2.4.48.tar.gz
apr-1.7.0.tar.gz  debug                  kernels
[root@e81442eab909 src]# tar xf apr-util-1.6.1.tar.gz 
[root@e81442eab909 src]# tar xf httpd-2.4.48.tar.gz 
[root@e81442eab909 src]# cd apr-1.7.0
[root@e81442eab909 apr-1.7.0]# vi configure
cfgfile=${ofile}T
    trap "$RM \"$cfgfile\"; exit 1" 1 2 15
#   $RM "$cfgfile"    //进入这个配置文件搜索cfgfile，然后删除或者注释掉
[root@e81442eab909 apr-1.7.0]# ./configure --prefix=/usr/local/apr
[root@e81442eab909 apr-1.7.0]# make && make install
[root@e81442eab909 apr-1.7.0]# cd ../apr-util-1.6.1
[root@e81442eab909 apr-util-1.6.1]# ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr
[root@e81442eab909 apr-util-1.6.1]#  make && make install

[root@e81442eab909 httpd-2.4.48]# ./configure --prefix=/usr/local/apache \
 --enable-so \
 --enable-ssl \
 --enable-cgi \
 --enable-rewrite \
 --with-zlib \
 --with-pcre \
 --with-apr=/usr/local/apr \
 --with-apr-util=/usr/local/apr-util/ \
 --enable-modules=most \
 --enable-mpms-shared=all \
 --with-mpm=prefork
[root@e81442eab909 httpd-2.4.48]# make && make install

配置文件

[root@e81442eab909 httpd-2.4.48]# echo 'export PATH=/usr/local/apache/bin:$PATH' > /etc/profile.d/httpd.sh
[root@e81442eab909 httpd-2.4.48]# source /etc/profile.d/httpd.sh
[root@e81442eab909 httpd-2.4.48]# ln -s /usr/local/apache/include/ /usr/include/httpd
[root@e81442eab909 httpd-2.4.48]#  echo 'MANPATH /usr/local/apache/man' >> /etc/man.config
[root@e81442eab909 httpd-2.4.48]#  vi /usr/local/apache/conf/httpd.conf
ServerName www.example.com:80    //在这里把前面的注释取消掉
启动脚本
[root@e81442eab909 ~]# touch start.sh
[root@e81442eab909 ~]# vi start.sh 
[root@e81442eab909 ~]# cat start.sh 
#!/bin/sh

/usr/local/apache/bin/httpd 
/bin/bash
[root@e81442eab909 ~]# chmod +x start.sh

构建镜像

[root@localhost ~]# docker commit -p -c 'CMD ["/bin/bash","start.sh"]' e81442eab909 yzy/http:v1
sha256:af2c50834db5ca43584869814b0f898eb5edac96760b6be656a69c8fb9e61b06
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
yzy/http     v1        af2c50834db5   15 seconds ago   712MB
yzy/mysql    latest    533ef9b23221   2 days ago       3.83GB
nginx        v1        67835128ee93   2 days ago       576MB
nginx        latest    f652ca386ed1   4 days ago       141MB
busybox      latest    d23834f29b38   7 days ago       1.24MB
centos       8         5d0da3dc9764   2 months ago     231MB
centos       latest    5d0da3dc9764   2 months ago     231MB

安装nfs

新的虚拟机

[root@node3 ~]# mkdir /nfs
[root@node3 ~]# vi /etc/exports 
/nfs 192.168.136.132(rw)
[root@node3 ~]# yum -y install nfs-utils
[root@node3 ~]# systemctl start nfs-server
[root@node3 ~]#  systemctl stop firewalld

docker主机上安装nfs

[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# showmount -e 192.168.136.142
Export list for 192.168.136.142:
/nfs 192.168.136.142

挂载

[root@localhost ~]# mkdir -p /var/www/html/
[root@localhost ~]# mount -t nfs 192.168.136.142:/nfs /var/www/html/
[root@localhost ~]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root   50G   13G   38G   26% /
devtmpfs                 1.9G     0  1.9G    0% /dev
tmpfs                    1.9G     0  1.9G    0% /dev/shm
tmpfs                    1.9G   12M  1.9G    1% /run
tmpfs                    1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/mapper/centos-home   57G   33M   57G    1% /home
/dev/sda1               1014M  142M  873M   14% /boot
tmpfs                    378M     0  378M    0% /run/user/0
overlay                   50G   13G   38G   26% /var/lib/docker/overlay2/ec05334098306fd3a5630c29e707efda428fe6ddcfa79de719b4dcfd0cadf524/merged
192.168.136.142:/nfs      70G  2.6G   68G    4% /var/www/html

创建容器映射

[root@localhost ~]# docker run -itd --name httpd -p 80:80 -v /var/www/html/:/usr/local/apache/htdocs  809d37e9b570
5b65ebc2fb9d844f5451a7544b649492a4493ed82a3e6b80d73a5387bc791e6e\
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE          COMMAND       CREATED             STATUS             PORTS     NAMES
e22ff32278cb   809d37e9b570   "/bin/bash"   About an hour ago   Up About an hour             httpd

权限给他

[root@node3 ~]# chown nobody.nobody /nfs

上传网站代码

[root@nood3 ~]# ls /nfs
index.html  百度一下，你就知道_files

访问测试

在这里插入图片描述

Docker存储卷

Docker存储卷

COW机制

什么是存储卷

使用存储卷的好处

为什么要用存储卷

存储卷管理方式

存储卷的分类

容器数据管理

在容器中使用数据卷

docker源码部署httpd 存储卷部署网站

创建基于centos镜像的容器

上传httpd的源码包

进入容器创建用户 编译安装http

配置文件

构建镜像

安装nfs

上传网站代码

访问测试

访问测试

进入容器创建用户编译安装http