使用Yum工具部署CubeFS分布式文件系统集群-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00487/article/details/148507716

使用Yum工具部署CubeFS分布式文件系统集群

前言

CubeFS是一款高性能、高可靠的分布式文件系统，广泛应用于云计算、大数据等场景。本文将详细介绍如何使用Yum包管理工具在CentOS 7+操作系统上快速部署CubeFS集群。

环境准备

在开始部署前，请确保满足以下条件：

操作系统：CentOS 7或更高版本
已安装Ansible工具（可通过pip3 install ansible命令安装）
所有节点间SSH免密互通
对于ARM架构，需要Glibc版本2.32及以上

安装部署包

根据服务器架构选择对应的RPM包进行安装：

# x86架构安装命令
yum install https://ocs-cn-north1.heytapcs.com/cubefs/rpm/3.5.1/cfs-install-3.5.1-el7.x86_64.rpm

# ARM架构安装命令
yum install https://ocs-cn-north1.heytapcs.com/cubefs/rpm/3.3.2/arm/cfs-install-3.3.2-el7.aarch64.rpm

安装完成后，进入/cfs/install目录，可以看到以下目录结构：

.
├── install_cfs.yml
├── install.sh
├── iplist
├── src
└── template
    ├── client.json.j2
    ├── create_vol.sh.j2
    ├── datanode.json.j2
    ├── grafana
    │   ├── grafana.ini
    │   ├── init.sh
    │   └── provisioning
    ├── master.json.j2
    ├── metanode.json.j2
    └── objectnode.json.j2

集群配置详解

iplist文件配置

iplist文件是集群部署的核心配置文件，主要包含以下部分：

节点角色定义：包括master、datanode、metanode、objectnode、monitor和client等角色的IP地址
SSH连接信息：在cfs:vars模块中定义所有节点的SSH登录信息
各组件参数配置：包括master、datanode、metanode等组件的详细配置

Master节点配置

Master节点是CubeFS集群的管理核心，主要配置参数包括：

| 参数名 | 说明 | 示例值 | |--------|------|--------| | master_clusterName | 集群名称 | my-cubefs-cluster | | master_listen | HTTP服务监听端口 | 17010 | | master_prof | pprof调试端口 | 17020 | | master_legacyDataMediaType | 数据节点类型(1:SSD, 2:HDD) | 2 | | master_logDir | 日志目录 | /cfs/log/master | | master_walDir | Raft WAL日志目录 | /cfs/data/master/wal | | master_storeDir | RocksDB数据目录 | /cfs/data/master/store |

DataNode节点配置

DataNode负责实际数据存储，关键配置如下：

| 参数名 | 说明 | 示例值 | |--------|------|--------| | datanode_listen | 服务监听端口 | 17310 | | datanode_mediaType | 磁盘类型(1:SSD, 2:HDD) | 2 | | datanode_prof | 调试端口 | 17320 | | datanode_disks | 磁盘挂载路径及预留空间 | "/data0:10737418240" |

MetaNode节点配置

MetaNode管理文件系统元数据，主要配置包括：

| 参数名 | 说明 | 示例值 | |--------|------|--------| | metanode_listen | 服务监听端口 | 17210 | | metanode_metadataDir | 元数据快照目录 | /cfs/data/metanode/meta | | metanode_totalMem | 最大可用内存(字节) | 28589934592 |

其他组件配置

ObjectNode、Client等组件也有相应的配置参数，需要根据实际需求进行调整。特别需要注意的是端口配置，在混部场景下要避免端口冲突。

集群启动流程

使用install.sh脚本按顺序启动集群各组件：

# 启动Master节点
bash install.sh -r master

# 启动MetaNode节点
bash install.sh -r metanode

# 启动DataNode节点
bash install.sh -r datanode

# 启动ObjectNode节点
bash install.sh -r objectnode

# 创建卷
bash install.sh -r createvol

# 启动Client节点
bash install.sh -r client