GFS分布式文件系统

一、GlusterFS概述

1、Glusterfs简介

   GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据

2、Glusterfs 特点

3、术语简介

4、Glusterfs的工作流程

5、卷的类型

灰色的卷glusterfs 6.1及以上的版本已被弃用

        在glusterfs 6.1版本之后，不在支持stripe ，分布式条带卷不再多说，在官方的安装文档卷的介绍中已经把条带卷移除了，因为这个卷的可用性太差，只要一个brick挂掉，整个就挂掉，客户端就不能访问，显然不符合生产环境。

二、实验部分

基础配置

1、关闭防火墙及内核保护

systemctl stop firewalld
setenforce 0

2、改名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
hostnamectl set-hostname node4
hostnamectl set-hostname node5
hostnamectl set-hostname node6
bash

3、修改hosts文件

vim /etc/hosts

192.168.10.101 node1
192.168.10.102 node2
192.168.10.103 node3
192.168.10.104 node4
192.168.10.105 node5
192.168.10.106 node6

4、安装软件

dnf -y install glusterfs glusterfs-server glusterfs-fuse

5、磁盘分区

fdisk /dev/nvme0n2
fdisk /dev/nvme0n3
fdisk /dev/nvme0n4
fdisk /dev/nvme0n5
fdisk /dev/nvme0n6

6、格式化文件系统

mkfs.xfs /dev/nvme0n2p1
mkfs.xfs /dev/nvme0n3p1
mkfs.xfs /dev/nvme0n4p1
mkfs.xfs /dev/nvme0n5p1
mkfs.xfs /dev/nvme0n6p1

7、创建挂载点

mkdir /n3
mkdir /n4
mkdir /n5
mkdir /n6
mkdir /n7

8、挂载

vim /etc/fstab

/dev/nvme0n2p1 /n3 xfs defaults 0 0
/dev/nvme0n3p1 /n4 xfs defaults 0 0
/dev/nvme0n4p1 /n5 xfs defaults 0 0
/dev/nvme0n5p1 /n6 xfs defaults 0 0
/dev/nvme0n6p1 /n7 xfs defaults 0 0

reboot

systemctl stop firewalld
setenforce 0

9、启动服务

systemctl start glusterd.service

10、添加节点到集群

gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
gluster peer probe node5
gluster peer probe node6

11、查看状态

二、创建卷

1、创建GFS分布式卷

        默认创建的就是分布式卷

# 创建一个名为 dist-volume 的 GlusterFS 卷，使用 node1 节点的 /n3 目录和 node2 节点的 /n3 目录作为存储 bricks
gluster volume create dist-volume node1:/n3 node2:/n3 force

# 启动名为 dist-volume 的 GlusterFS 卷，让其开始提供分布式存储服务，卷创建后需启动才能被客户端挂载使用
gluster volume start dist-volume

# 查看名为 dist-volume 的 GlusterFS 卷的详细信息，比如卷的类型、包含的 bricks 列表、状态、配置参数等，用于确认卷创建和启动后的情况
gluster volume info dist-volume

2、创建复制卷

        复制卷要求复制的数量和Brick Server的数量（node的数量）相同

gluster volume create rep-volume replica 2 node1:/n4 node2:/n4 force
gluster volume start rep-volume
gluster volume info rep-volume

3、创建分散卷

        用三个分区创建分散卷，允许一个分区失效，分散卷中每三个brick允许有一个失效（3*1或6*2）是基于ErasureCodes（纠错码）的一种新类型的Volume（3.6版本正式发布该特性），类似于RAID5/6。通过配置Redundancy（冗余）级别提高可靠性，在保证较高的可靠性同时，可以提升物理存储空间的利用率。redundancy 必须大于0，并且bricks的总数必须大于2 *redundancy 。 这意味着dispersed卷必须至少包含3个bricks。类似raid5/raid6，防止单点故障(HA),提升IO性能(LB)。

gluster volume create disp-volume disperse 3 redundancy 1 node1:/n5 node2:/n5 node3:/n5 force
gluster volume start disp-volume
gluster volume info disp-volume

4、创建分布式复制卷

        分布式复制卷要求Brick Server的数量必须是复制数的倍数（两倍或更高的倍数）

gluster volume create dist-rep replica 2 node1:/n6 node2:/n6 node3:/n6 n
ode4:/n6 force
gluster volume start dist-rep
gluster volume info dist-rep

5、创建分布式分散卷

        分布式分散卷需要用六个节点，每三个节点做一个分散卷，两组分散卷做成复制卷

gluster volume create dist-disp disperse 3 redundancy 1 node1:/n7 node2:/n7 node3:/n7 node4:/n7 node5:/n7 node6:/n7 force
gluster volume start dist-disp
gluster volume info dist-disp

三、部署客户端

 1、关闭防火墙及内核保护

systemctl stop firewalld
setenforce 0

2、修改hosts文件

vim /etc/hosts

192.168.10.101 node1
192.168.10.102 node2
192.168.10.103 node3
192.168.10.104 node4
192.168.10.105 node5
192.168.10.106 node6

3、安装客户端软件

dnf -y install glusterfs glusterfs-fuse

4、创建挂载目录

mkdir dist
mkdir rep
mkdir disp
mkdir dist_and_rep
mkdir dist_and_disp

5、挂载

mount -t glusterfs node1:dist-volume /root/dist
mount -t glusterfs node1:rep-volume /root/rep
mount -t glusterfs node1:disp-volume /root/disp
mount -t glusterfs node1:dist-rep /root/dist_and_rep
mount -t glusterfs node1:dist-disp /root/dist_and_disp

四、测试

1、创建测试文件

2、写入文件

cp a* /root/dist
cp a* /root/rep
cp a* /root/disp
cp a* /root/dist_and_rep
cp a* /root/dist_and_disp

3、测试