ChatGLM4部署教程（非常详细）零基础入门到精通，收藏这篇就够了

于 2025-06-22 11:15:54 发布
阅读量663 收藏 15
点赞数 24
CC 4.0 BY-SA版权
文章标签： 人工智能 自然语言处理 大模型 AI大模型 ChatGLM4 LLM 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingkahui24689/article/details/148824996

一、介绍

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

GLM-4 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守 开源协议 ，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。目前，其项目团队未基于 GLM-4 开源模型开发任何应用，包括网页端、安卓、苹果 iOS 及 Windows App 等应用。

尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 GLM-4-9B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确。同时模型的输出容易被用户的输入误导。

更多详细信息见 Github 仓库。

二、部署过程

基础环境最低要求说明：

环境名称版本信息1版本信息2
Ubuntu22.04.4 LTS
CudaV12.1.105
Python3.10.83.12.4
NVIDIA CorporationRTX 3060 *2RTX 3090
1. 更新基础软件包

查看系统版本信息

\# 查看系统版本信息，包括ID（如ubuntu、centos等）、版本号、名称、版本号ID等  
cat /etc/os-release

配置 apt 国内源

\# 更新软件包列表  
apt-get update

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是安装新软件包或进行软件包升级之前的推荐步骤，因为它确保了您获取的是最新版本的软件包。

\# 安装 Vim 编辑器  
apt-get install -y vim

这个命令用于安装 Vim 文本编辑器。-y 选项表示自动回答所有的提示为“是”，这样在安装过程中就不需要手动确认。Vim 是一个非常强大的文本编辑器，广泛用于编程和配置文件的编辑。

为了安全起见，先备份当前的 sources.list 文件之后，再进行修改：

\# 备份现有的软件源列表  
cp /etc/apt/sources.list /etc/apt/sources.list.bak

这个命令将当前的 sources.list 文件复制为一个名为 sources.list.bak 的备份文件。这是一个好习惯，因为编辑 sources.list 文件时可能会出错，导致无法安装或更新软件包。有了备份，如果出现问题，您可以轻松地恢复原始的文件。

\# 编辑软件源列表文件  
vim /etc/apt/sources.list

这个命令使用 Vim 编辑器打开 sources.list 文件，以便您可以编辑它。这个文件包含了 APT（Advanced Package Tool）用于安装和更新软件包的软件源列表。通过编辑这个文件，您可以添加新的软件源、更改现有软件源的优先级或禁用某些软件源。

在 Vim 中，您可以使用方向键来移动光标，i 键进入插入模式（可以开始编辑文本），Esc 键退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

编辑 sources.list 文件时，请确保您了解自己在做什么，特别是如果您正在添加新的软件源。错误的源可能会导致软件包安装失败或系统安全问题。如果您不确定，最好先搜索并找到可靠的源信息，或者咨询有经验的 Linux 用户。

使用 Vim 编辑器打开 sources.list 文件，复制以下代码替换 sources.list里面的全部代码，配置 apt 国内阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse  
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse  
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse  
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

安装常用软件和工具

\# 更新源列表，输入以下命令：  
apt-get update  
  
\# 更新系统软件包，输入以下命令：  
apt-get upgrade  
  
\# 安装常用软件和工具，输入以下命令：  
apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出现以下页面，说明国内apt源已替换成功，且能正常安装apt软件和工具

2. 安装 NVIDIA CUDA Toolkit 12.1
  • 下载 CUDA Keyring ：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86\_64/cuda-keyring\_1.0-1\_all.deb

这个命令用于下载 CUDA 的 GPG 密钥环，它用于验证 CUDA 软件包的签名。这是确保软件包安全性的一个重要步骤。

  • 安装 CUDA Keyring ：
dpkg -i cuda-keyring\_1.0-1\_all.deb

使用 dpkg 安装下载的密钥环。这是必要的，以便 apt 能够验证从 NVIDIA 仓库下载的软件包的签名。

  • 删除旧的 apt 密钥（如果必要） ：
apt-key del 7fa2af80

这一步可能不是必需的，除非您知道 7fa2af80 是与 CUDA 相关的旧密钥，并且您想从系统中删除它以避免混淆。通常情况下，如果您只是安装 CUDA 并使用 NVIDIA 提供的最新密钥环，这一步可以跳过。

  • 更新 apt 包列表 ：
apt-get update

更新 apt 的软件包列表，以便包括刚刚通过 cuda-keyring 添加的 NVIDIA 仓库中的软件包。

  • 安装 CUDA Toolkit ：
apt-get -y install cuda-toolkit-12-1

出现以下页面，说明 NVIDIA CUDA Toolkit 12.1 安装成功

注意：这里可能有一个问题。NVIDIA 官方 Ubuntu 仓库中可能不包含直接名为 cuda-toolkit-12-1 的包。通常，您会安装一个名为 cuda 或 cuda-12-1 的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请检查 NVIDIA 的官方文档或仓库，以确认正确的包名。

如果您正在寻找安装特定版本的 CUDA Toolkit，您可能需要安装类似 cuda-12-1的包（如果可用），或者从 NVIDIA 的官方网站下载 CUDA Toolkit 的 .run 安装程序进行手动安装。

请确保您查看 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获取最准确的包名和安装指令。

  • 出现以上情况，需要配置 NVIDIA CUDA Toolkit 12.1 系统环境变量

编辑 ~/.bashrc 文件

\# 编辑 ~/.bashrc 文件  
vim ~/.bashrc

插入以下环境变量

\# 插入以下环境变量  
export PATH=/usr/local/cuda/bin:$PATH  
export LD\_LIBRARY\_PATH=/usr/local/cuda/lib64:$LD\_LIBRARY\_PATH

激活 ~/.bashrc 文件

\# 激活 ~/.bashrc 文件  
source ~/.bashrc

查看cuda系统环境变量

which nvcc  
nvcc -V

3. 安装 Miniconda

  • 下载 Miniconda 安装脚本 ：

  • 使用 wget 命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是一个更小的 Anaconda 发行版，包含了 Anaconda 的核心组件，用于安装和管理 Python 包。

  • 运行 Miniconda 安装脚本 ：

  • 使用 bash 命令运行下载的 Miniconda 安装脚本。这将启动 Miniconda 的安装过程。

\# 下载 Miniconda 安装脚本  
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86\_64.sh  
  
\# 运行 Miniconda 安装脚本  
bash Miniconda3-latest-Linux-x86\_64.sh  
  
\# 初次安装需要激活 base 环境  
source ~/.bashrc

按下回车键（enter）

输入yes

输入yes

安装成功如下图所示

pip配置清华源加速

\# 编辑 /etc/pip.conf 文件  
vim  /etc/pip.conf

加入以下代码

\[global\]  
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

注意事项：

  • 请确保您的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本是为该架构设计的。

  • 在运行安装脚本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令给予脚本执行权限。

  • 安装过程中，您将被提示是否同意许可协议，以及是否将 Miniconda 初始化。通常选择 “yes” 以完成安装和初始化。

  • 安装完成后，您可以使用 conda 命令来管理 Python 环境和包。

  • 如果链接无法访问或解析失败，可能是因为网络问题或链接本身的问题。请检查网络连接，并确保链接是最新的和有效的。如果问题依旧，请访问 Anaconda 的官方网站获取最新的下载链接。

4. 从 github 仓库克隆项目

  • 克隆存储库：

  • git clone https://github.com/THUDM/GLM-4

  • 这个命令使用 git clone 从指定的 GitHub 地址克隆 “GLM-4” 项目，默认情况下 Git 会克隆整个项目的所有提交历史。

  • 切换目录：

  • cd GLM-4

  • 这个命令使用 cd（change directory）命令切换当前工作目录到刚才克隆的 “GLM-4” 目录中。这意味着接下来执行的所有命令都是在该项目目录下执行。

\# 克隆 ChatGLM4 项目  
git clone https://github.com/THUDM/GLM-4 ChatGLM4  
  
\# 切换到克隆的项目目录中  
cd ChatGLM4

出现以上页面即是克隆项目成功！

请注意，如果 git clone https://github.com/THUDM/GLM-4 这个链接不存在或者无效，git clone 命令将不会成功克隆项目，并且会报错。确保链接是有效的，并且您有足够的权限访问该存储库。

5. 创建虚拟环境
\# 创建一个名为 ChatGLM4 的新虚拟环境，并指定 Python 版本为 3.10.8  
conda create --name ChatGLM4 python=3.10.8  





\# 激活新创建的虚拟环境  
conda activate ChatGLM4

6. 安装模型依赖库
  • 切换到项目目录
\# 切换到项目工作目录  
cd /ChatGLM4
  • 激活 ChatGLM4 虚拟环境
conda activate ChatGLM4
  • 安装 requirements.txt 依赖
\# 在 ChatGLM3 环境中安装 requirements.txt 依赖  
pip install -r requirements.txt

依赖安装成功如下图所示：

7. 下载预训练模型
\# 创建一个THUDM文件夹  
mkdir -p /ChatGLM4/basic\_demo/THUDM  
  
\# 递归复制 GLM-4 这个整体文件夹到数据盘位置（因为模型有点大，系盘无法存放）  
cp -r /ChatGLM4 /root/sj-tmp/  
  
\# 切换到 GLM-4 项目的 basic\_demo 目录  
cd /root/sj-tmp/ChatGLM4/basic\_demo

安装 modelscope 依赖包

pip install modelscope

创建一个Python下载脚本

vim modelscope\_download.py

插入以下下载代码

\# Python 代码下载模型  
from modelscope import snapshot\_download  
model\_dir = snapshot\_download('ZhipuAI/glm-4-9b-chat', cache\_dir='./', revision='master')

执行 modelscope_download.py 文件进行模型下载

python modelscope\_download.py

8. 运行 web_demo_gradio.py 文件
cd /root/sj-tmp/ChatGLM4/basic\_demo/  
python trans\_web\_demo.py

出现以上代码“ModuleNotFoundError: No module named ‘peft’”报错，安装 peft 依赖包

\# 安装 peft  
pip install peft

出现以上报错，需要修改模型路径

\# 编辑 trans\_web\_demo.py 文件  
vim trans\_web\_demo.py

替换为

MODEL\_PATH = os.environ.get('MODEL\_PATH', 'ZhipuAI/glm-4-9b')

出现以上结果，还需要继续修改 web_demo_gradio.py 文件的IP和端口，才能进入 gradio 页面

\# 编辑 trans\_web\_demo.py 文件  
vim trans\_web\_demo.py

替换为

demo.launch(server\_name="0.0.0.0", server\_port=8080, inbrowser=True, share\=True)

替换说明：server_name 为IP地址, server_port 为端口号，根据访问需求进行替换即可

三、网页演示

出现以下 Gradio 页面，即是模型已搭建完成。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

功城师
关注
手把手教你搭建自己本地的ChatGLM
master_hunter的博客
04-12 1万+
如果能够本地自己搭建一个ChatGPT的话，训练一个属于自己知识库体系的人工智能AI对话系统，那么能够高效的处理应对所属领域的专业知识，甚至加入职业思维的意识，训练出能够结合行业领域知识高效产出的AI。这必定是十分高效的生产力工具，且本地部署能够保护个人数据隐私，能够内网搭建办公使用也十分的方便。而对于ChatGLM来说最大的优点就是本地能快速部署且需要资源较比与ChatGPT相当低，还要什么自行车，够用就好。甚至能够在一些性能较高的服务器单点部署，INT4 量化级别下最低只需 6GB 显存。
ChatGLM（国内版的chatGPT）
qq_41771998的博客
04-03 2万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
从零开始的ChatGLM 配置详细教程
风吹落叶的博客
04-22 1万+
最近安装了一下叶佬的一键安装包总感觉，没有被bug虐浑身不舒服遂，去github上重新git clone了官方的下来并部署玩玩。
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
ChatGLM详解
最新发布
夏沫の梦的博客
10-09 2725
ChatGLM是由清华技术成果转化的公司智谱AI发布的开源的、支持中英双语问答的对话语言模型系列，并针对中文进行了优化，该模型基于General Language Model（GLM）架构构建，ChatGLM是一款基于人工智能技术的智能聊天机器人，它具备强大的自然语言处理能力，能够理解和回答我们的问题，通过与ChatGLM的对话，我们可以轻松获取各种信息，解决生活中的疑惑，甚至寻求专业建议，ChatGLM的出现，让我们在获取信息、解决问题上更加高效便捷。
【ChatGLM】手把手教你云服务器部署ChatGLM聊天网站，不限次数调用。
小梁说代码的博客
07-25 6154
ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，由基于清华大学 KEG 实验室与智谱 AI于 2023 年联合训练，可以针对用户的问题和要求提供适当的答复和支持。它基于 General Language Model 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（具体的部署条件看下章）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。
多模态大模型入门指南（非常详细）零基础入门到精通，收藏这一篇就够了
Hacker_doggy的博客
07-17 3546
如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA。
零基础，零成本，部署一个属于你的大模型_阿里云大模型部署
2401_85377976的博客
07-10 2620
看了那么多chatGPT的文章，作为一名不精通算法的开发，也对大模型心痒痒。但想要部署自己的大模型，且不说没有算法相关的经验了，光是大模型占用的算力资源，手头的个人电脑其实也很难独立部署。就算使用算法压缩后的大模型，部署在个人电脑上，还要忍受极端缓慢的计算速度以及与chatGPT相差甚远的模型效果。有什么办法能够部署属于我们自己的大模型呢？有编程基础：作为一个合格的程序员，这应该是必备素质。
LLM 大模型产品经理学习指南：【2024 全新版】极致详细，一篇搞定！
2401_86518761的博客
09-10 1691
随着人工智能技术的蓬勃发展，尤其是大模型（Large Model）的强势兴起，越来越多的企业对这一领域愈发重视并加大投入。作为大模型产品经理，需具备一系列跨学科的知识与技能，方能有效地推动产品的开发、优化以及市场化进程。以下是一份详尽的大模型产品经理学习路线，旨在助力你构建所需的知识体系，实现从零基础到精通的蜕变。一、基础知识阶段（一）计算机科学基础数据结构与算法：深入理解基本的数据结构（如数组、链表、树、图等）以及常用算法（如排序、查找、递归等）。
初学者怎么入门大语言模型开发？_大模型开发语言
2401_85377976的博客
07-22 1679
Prompt Engineering 涉及为大型语言模型设计有效的输入（Prompts），以引导模型生成所需的输出。这个过程不仅需要精确表达问题或需求，而且要格式化输出以适应特定应用。
大语言模型 RLHF(一)——ChatGLM代码逐行解读
qjzcy的博客
06-07 6179
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，
Windows10下ChatGLM2-6B模型本地化安装部署教程图解
weixin_40547993的博客
07-17 1万+
ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了GLM的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果。
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
清华系ChatGPT发布！唐杰团队打造，专对中文优化，还能把握最新新闻动态
IT界那些事儿
03-18 7562
终于，清华大学也出手了。就在GPT4发布的同一天，唐教授在微博宣布：基于千亿参数大模型的，现在开启邀请制内测。据介绍，ChatGLM专门针对进行了优化，可以说是国人友好～看起来，写博客提纲、创作剧本、解数学题、写代码，甚至是，它都拿捏的死死的：△ 写介绍ChatGLM的博客提纲△ Cosplay聊天扮演高冷御姐量子位有幸拿到了内测名额，将在后文进行一波实测。与此同时，还有另一个消息宣布：唐杰团队为了与社区一起更好地推动大模型技术的发展，同时开源了包含62亿参数的双语模型。
chatglm4本地部署详解
lstef的博客
06-16 8063
跟chatglm3回复速度相比，简直是慢动作中的慢动作。把它修改成glm-4-9b-chat的路径：/home/ls/文档/GLM4/glm-4-9b-chat。composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖。accelerate>=0.30.1，也是类似情况，但指定源下载依然不奏效。（浏览器下载也失败了2次，反正都是断点续传，继续重复执行下载即可。glm-4-9b-chjat为已经训练的参数。另一种是，手动从web下载安装文件后安装。
chatglm4使用
weixin_38226321的博客
01-22 4274
登录，这里注册就送10万token，去API keys拿到自己的key。给自己的环境安装一下他们的库。使用流式输出时，在messages里面添加stream参数，打印时使用循环。glm4开始闭源了，所以就使用api来试试。
大模型的实践应用4-ChatGLM-6b大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读
微学AI的博客
10-24 9460
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用4-ChatGLM大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读，本文介绍将ChatGLM-6B的模型结构，与设计原理。
国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5
qq_34717531的博客
09-26 4963
国产大模型有很多，比如文心一言、通义千问、星火、MOSS 和 ChatGLM 等等，但现在明确可以部署在本地并且开放 api 的只有 MOOS 和 ChatGLM。MOOS 由于需要的 GPU 显存过大（不量化的情况下需要80GB，多轮对话还是会爆显存），但 ChatGLM 可以在笔记本电脑部署（int4版本只需要6GB显存即可）。所以本文采用ChatGLM 与 ChatGPT 做对比，看看国产模型的优点和缺点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值