【02】ChatGLM3-6B部署：CentOS7.9本地部署ChatGLM3-6B模型

一、ChatGLM-6B模型

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

（1）更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。
（2）更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
（3）更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K。

二、本地服务器配置

本地采用的服务器是：戴尔PowerEdge R750型号：

1. 处理器：配备两颗Intel Xeon金牌6330处理器。处理器采用了多核心架构，每颗处理器拥有24个物理核心和48个线程，可以提供出色的计算能力和并行处理能力。

2. 图形处理器：配备NVIDIA A40-48GB GPU。NVIDIA A40是一款专为数据中心设计的高性能GPU，适用于深度学习和加速科学计算等工作负载。其48GB的显存和强大的并行计算能力可以加快复杂计算任务的执行速度。

3. 内存：服务器配置了两个64GB DDR4-3200内存模块，总共128GB内存。足以支持大部分的计算和处理任务，并能够提供快速的数据读写和运算速度。

4. 硬盘：服务器配备了两个2.4TB 10K RPM SAS 2.5英寸硬盘。企业级硬盘具有较高的性能和可靠性，适合存储和处理大规模数据。

CentOS 7.9 是基于Linux的操作系统，主要用于服务器端的应用。而存储硬盘大小是一个非常重要的指标，查看硬盘大小可以帮助系统管理员有效地管理硬盘空间和避免硬盘满了的情况。检查服务器的存储情况的命令如下：

df -hl

此处选择的模型部署位置为： 

cd /run/media/user/Data

三、依赖更新与源码克隆

（1）首先需要下载git-lfs，用于克隆ChatGLM的模型（文件极大）

Git 是分布式版本控制系统，这意味着在克隆过程中会将仓库的整个历史记录传输到客户端。对于包涵大文件（尤其是经常被修改的大文件）的项目，初始克隆需要大量时间，因为客户端会下载每个文件的每个版本。Git LFS（Large File Storage）是由 Atlassian, GitHub 以及其他开源贡献者开发的 Git 扩展，它通过延迟地（lazily）下载大文件的相关版本来减少大文件在仓库中的影响。

安装与使用命令如下：