LLM：在AutoDL上进行Vicuna 7B模型简单部署体验

已于 2025-02-24 11:16:50 修改
阅读量7.6k 收藏 31
点赞数 8
CC 4.0 BY-SA版权
分类专栏： LLM 文章标签： 人工智能 nlp 大语言模型 LLM ChatGPT AutoDL
于 2023-04-16 15:13:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40243750/article/details/130182250
本文介绍如何部署开源的大语言模型Vicuna 7B，包括权重文件的保存与上传、环境搭建、源码安装及使用方法。适用于希望在单张GPU上运行接近ChatGPT性能的语言模型的研究者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

更多文章推荐

0、引入

随着ChatGPT的火热，科技公司们各显神通，针对大语言模型LLM通常需要极大的算力支持，且没有开源，阻碍了进一步的研究和应用落地。受 Meta LLaMA 和 Stanford Alpaca 项目的启发，来自加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的成员，共同推出了一个 Vicuna-13B 开源大模型。

根据论文显示，其Vicuna-13B可以达到ChatGPT/Bard 90%以上水平，并且开源，并且Vicuna-7B模型可以在单卡上面运行（github说7B需要16GB的现存，亲测在3090上面可以运行，速度挺快）。

目前Vicuna开源了模型权重以供大家进行研究和微调，本文受限于算力仅尝试运行7B模型。

本文大概的流程是：首先将权重文件保存到阿里云盘中（12GB），然后在autodl云服务器中开一台3090，使用autodl提供的离线下载将阿里云盘的权重下载到3090中，然后下载Vicuna的代码进行编译安装，就可以执行测试了。

章节1-5为具体部署方法，如果觉得太麻烦，可以直接看章节6：直接使用我的镜像立即开启人机对话，通过加载镜像后两行代码就可以开启对话

1、保存权重文件到阿里云盘

官方没有直接放出权重文件，而是需要通过增量和LLM自己进行转换，转换7B的权重需要30GB的RAM才可以。所以这里直接分享转换后的权重下载即可。

vicuna-7b-小羊驼 点击链接保存到自己云盘（note：不需要下载）

2、部署环境

Vicuna最小的7B模型也需要14GB的显存，（穷，没有）所以使用autodl租一台3090，也便宜一般1~1.5一小时。选择一台3090，它拥有24GB显存，运行7B模型已经够了。

在创建时选择框架：Pytorch1.10+Py3.8+CUDA11.3
在这里插入图片描述

3、上传权重文件到3090

该部分在autodl的帮助下，将阿里云盘权重直接下载到3090，不需要经过本机下载再上传。

当我们开启一台机器后可以看到下面的信息
在这里插入图片描述
点击“AutoPanel”进入面板，选择“公网网盘”，此时选择阿里云盘并扫码登录，就可以看到你的文件了。

找到vicuna-7b文件夹（里面就是相关权重文件），点击下载。
在这里插入图片描述

下载完成后，该模型权重就在我们3090的/root/autodl-tmp/里了，一会儿就可以直接使用。
权重文件较大，传输比较耗时，你可以点击右上角的传输任务查看进度。
在这里插入图片描述

4、下载安装源码

4.1 下载编译安装源码

首先从 v0.1.10下载“Dource code(zip)”并上传。如下如所示在1标记处可以上传文件，基本的上传进度条完成后可以在左侧看到FashChat-0.1.10.zip

然后，点击“终端”打开终端，使用命令"unzip FastChat-0.1.10.zip -d ./"进行解压，成功后可以看到FastChat-0.1.10文件夹

note：不要去主页下最新版，最新版与本文的权重不符，会有小bug。
在这里插入图片描述

4.2 安装

首先在终端进入文件夹：cd FastChat-0.1.10
在这里插入图片描述
为了方便访问从github下载，请根据自己机器的区域设置代理AutoDL帮助文档
比如我的是毕业季A去所以执行：
export http_proxy=http://10.0.0.7:12798 && export https_proxy=http://10.0.0.7:12798
在这里插入图片描述

然后依次执行：
sudo pip3 install --upgrade pip
sudo pip3 install -e .

至此一切就绪！

5、开始使用

一些配置好后，在终端中执行使用命令：
python3 -m fastchat.serve.cli --model-path ~/autodl-tmp/vicuna-7b/
等待加载chckpoint完成后，就会有提示符“Human:”就可以进行人机对话了
在这里插入图片描述

6、直接使用我的镜像立即开启人机对话

如果觉得上面的步骤太麻烦，使用我制作好的镜像，直接输入命令就可开启对话。

首先你需要获取我准备好的镜像，受限于autodl镜像分享只能通过指定id的方式，你可以在评论区留下你的autodl的ID，我分享给你。

你的id在这里查看：
在这里插入图片描述
假设你已经有了镜像，然后去租一台3090，在控制台将3090关机，从“更多”中选择“更换镜像”，选中我分享的镜像，等待重置完成。

开机后，一次执行：
cd FastChat-0.1.10
python3 -m fastchat.serve.cli --model-path vicuna-7b/
在这里插入图片描述
就可以开启对话了

Debug：可能的报错

在这里插入图片描述
上次执行使用命令占用的显存没有释放，只需要如下图关闭该终端，然后新开终端进入FastChat文件夹后再使用执行命令即可再次对话
在这里插入图片描述

【ChatGPT】Web LLM：你的本地的ChatGPT —— 完全在您的浏览器中运行 vicuna-7b 大型语言模型，它非常令人印象深刻
AI天才研究院
04-18 1万+
让你的 LLM 助手总结错误的网页，攻击者可能会诱骗它泄露你所有的私人数据，或者删除你所有的电子邮件，或者更糟。ShareGPT 是一个人们分享他们的 ChatGPT 记录的网站，这意味着微调是使用未经许可用于此类目的的数据进行的（OpenAI 条款和条件不允许使用这些数据来训练竞争对手的语言模型。但是，与之前的 LLaMA 和 Alpaca 一样，这个项目令人兴奋的地方在于它所展示的内容：我们现在可以完全在浏览器中运行功能极其强大的 LLM——尽管是测试版浏览器版本，而且是在功能非常强大的笔记本电脑上。
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 7828
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
部署运行Vicuna(小羊驼)
wstc2689784536的博客
04-23 4566
根据GitHub上简介可以知道：运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存由于本地我没有足够的硬件设备，所以本次部署采用的是网上租用设备来部署我使用的是矩池云提供的服务。可使用CPU数可使用内存硬盘840 GB硬盘带宽可用空间CPU型号100 GB。
LLaVA-v1.6-Vicuna-7B：配置与环境要求详析
gitblog_02728的博客
01-18 541
LLaVA-v1.6-Vicuna-7B：配置与环境要求详析 在当今人工智能技术的发展浪潮中，LLaVA-v1.6-Vicuna-7B 模型以其独特的多模态处理能力和卓越的聊天功能引起了广泛关注。为了充分释放这一模型的优势，正确配置运行环境显得尤为重要。本文旨在为研究人员和爱好者提供详细的配置指南，确保模型能够在您的系统上顺利运行。 系统要求 操作系统 LLaVA-v1.6-Vicuna-7B 模...
评估每种大模型需要多少GPU显存方法与技巧
最新发布
ngadminq的博客
05-05 4644
如何评估每种大模型需要多少GPU显存？本文给出方法与技巧
基于Fast-CHAT中Vicuna-7b（小羊驼）模型搭建
zixiangyanhua的博客
03-08 510
接下来，我们还需要转换一下LLaMA的文件，以便于构建FastChat对应的模型Vicuna（我资源不够，用的7B模型）下载 huggingface/transformers 的源码，访问其GitHub地址。参数：–model_size指定用哪个参数数量级的模型，7B代表的是70亿个参数的那个模型（如果你用的种子链接下载的话，还有13B/30B/65B的模型）参数：–input_dir指定的是刚才你下载好的LLaMA文件地址，这个路径下有个tokenizer.model文件，请仔细核对一下。
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-15 2645
​ LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部署且实现模型推理全流程步骤的图文教程(非常详细) 目录 相关文章 在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型部署且实现模型推理全流程步骤的图文教程(非常详细) 0、前置环境 1、下载与安装
win10,win11 下部署Vicuna-7B，Vicuna-13B模型，gpu cpu运行
babytiger的专栏
05-16 7841
运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存如果没有上面的硬件配置请绕行了，我笔记本有64G内存，两个都跑跑看，使用python3.9，当时转换13b时一直崩溃后来发现是没有设定虚拟内存，后来加上了9个G，才可以跑起来下载llama原始模型也可以用迅雷下载下面的链接，注只要7b，13b就可以了：magnet:?下载的文件如下：下载vicuna-7b-delta-v1.1 和vicuna-13b-delta-v1.1。
保姆级教程：Linux和Windows下本地化部署Vicuna模型
无敌小怪兽_Zz的博客
05-30 4000
这是一篇详尽的Vicuna模型部署指南，它拥有强大的性能，可以与ChatGPT媲美，而且免费提供，甚至还支持微调。本文将带你一步步掌握在Windows和Linux系统下的部署过程，提供了全套必需的安装包及转化好的本地模型。下载即用。通过本文，你将能够自行启动并运行Vicuna模型，从而利用其强大的功能提升你的工作效率。详细的部署文档，让你清晰掌握每一个步骤。
Vicuna模型权重合成及模型部署
along_000的博客
06-19 2022
Vicuna模型权重合成及模型部署
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 2308
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
Firefly大语言模型
liguandong
07-04 639
firefly-train-1.1M：firefly自己收集的常见的nlp任务数据，moss-003-sft-data：moss开源的中英文多轮对话数据100w+，ultrachat：清华开源的英文多轮对话数据，140w+流萤的词表是从bloom模型裁剪而来，bloom是多语言的大模型，其中中文预料占比达到17.7%，仅次于英文，其中裁剪后的bloom词表来自于澜舟科技的孟子模型（langboat）。在本文中，笔者将介绍关于Firefly（流萤）模型的工作，一个中文对话式大语言模型。
Text-to-SQL小白入门（四）指令进化大模型WizardLM
junewgl
09-04 1701
本文主要对大模型WizardLM的基本信息进行了简单介绍，展示了WizardLM取得的优秀性能，分析了论文的核心——指令进化方法。
学习实践-Vicuna【小羊驼】（部署+运行）
LZL2020LZL的博客
04-18 6152
3 月底，UC伯克利开源大语言模型Vicuna来了，这是一个与 GPT-4 性能相匹配的 LLaMA 微调版本。“缺啥补啥缺啥练啥，傻子也突出”！Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调（ShareGPT 是一个 ChatGPT 数据共享网站，用户会上传自己觉得有趣的 ChatGPT 回答）。利用ShareGPT的7万对话数据对LLaMA微调。Vicuna训练硬件：8块 A100 80G的GPU（比Alpaca训练花销便宜一半）
7B模型中型企业部署硬件配置详解
qq_29372275的博客
05-24 3601
在上述中等配置下，通过合理的优化和负载管理，一个系统能够支撑大约2400-4800左右的用户数。这一估算值基于某些理想假设，如每个用户每分钟发起一个请求。实际支持的用户数可能会因为用户行为、请求模式、系统优化等因素有所不同。通过实际的负载测试和运行数据分析，进一步调整系统配置和优化方案，可以更精准地估算支持的用户数并提升系统性能。
开源模型Mistral 7B+Amazon SageMaker部署指南
白洞，白色的明天在等着我们
03-03 6300
Mistral AI 是一家总部位于法国的 AI 公司，其使命是将公开可用的模型提升至最先进的性能水平。他们专注于构建快速而安全的大型语言模型（LLM），此类模型可用于从聊天机器人到代码生成等各种任务。不久前其发布了一个开源模型Mistral 7B，支持英语文本生成任务并具备自然编码能力。它为实现低延迟进行过优化，并且相对其规模，该模型对内存的要求较低，可提供高吞吐量。该模型体积虽小，但功能强大，可支持从文本摘要和分类到文本完善和代码补全等多种使用案例。
Vicuna 小羊驼（部署 + 运行）
m0_37975556的博客
06-09 1460
Vicuna 小羊驼（部署 + 运行）的操作步骤，跟着教程一步到位 ！！！
大模型之Vicuna
Azperk的博客
02-26 593
Vicuna作为一款开源大语言模型，凭借其高质量对话能力、强大的文本生成能力、较低的计算资源需求，在 AI 领域得到了广泛关注。尽管仍有优化空间，但其在智能对话、写作、代码理解等方面展现出了强大的应用价值。😊。
LLM系列 | 02: Vicuna简介及模型部署实测
热门推荐
ljp1919的专栏
04-30 1万+
Vicuna-13B是在LLaMa-13B的基础上使用监督数据微调得到的模型，数据集来自于ShareGPT.com产生的用户对话数据，共70K条。使用 GPT-4 作为判断的初步评估表明，Vicuna-13B 达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量，同时在>90%的情况下优于 LLaMA 和 Stanford Alpaca 等其他模型。剧透下，后文实测效果，其实吧，还行吧。此外，将冗长的对话分成更小的部分，以适应模型的最大上下文长度。月黑见渔灯，孤光一点萤。
OSError: Incorrect path_or_model_id: '..\..\models\lmsys_vicuna-7b-v1.5'. Please provide either the path to a local folder or the repo_id of a model on the Hub.
03-14
### 关于OSError: Incorrect Path or Model ID 当遇到 `OSError` 报错提示路径或模型ID不正确时，通常是因为指定的文件夹路径不存在或者模型名称有误。以下是可能的原因分析以及解决方案： #### 原因一：路径配置错误 如果指定了一个不存在的目录作为模型加载路径，则会触发此异常。例如，在命令中提到的 `/root/vicuna-7b/vicuna-7b-delta-v11` 路径下如果没有实际存在的模型文件，就会抛出类似的错误。 #### 解决方法： 确认目标路径是否存在并包含完整的模型权重文件。可以通过以下方式验证路径的有效性： ```bash ls -l /root/vicuna-7b/vicuna-7b-delta-v11/ ``` 上述命令应返回该目录下的所有文件列表。如果发现路径为空或缺少必要文件（如 `.bin` 或 `.pt` 文件），则需重新下载对应版本的模型[^1]。 --- #### 原因二：虚拟环境未正常初始化 创建 Python 的 virtualenv 过程中可能出现问题，尤其是当基础解释器路径设置不当或权限不足时。这可能导致后续依赖安装失败，进而影响到模型加载逻辑。 #### 解决方法： 按照引用中的成功案例调整命令参数，并确保拥有足够的写入权限来构建新的虚拟环境。具体操作如下所示： ```bash /usr/local/python36/bin/virtualenv --always-copy ./python36env source ./python36env/bin/activate pip install torch transformers accelerate bitsandbytes ``` 以上步骤依次完成了虚拟环境建立、激活以及核心库的安装工作[^2]。 注意替换掉默认Python可执行程序的位置至当前系统可用的一个稳定版本上；另外记得检查网络连接状态以便顺利完成第三方包获取流程。 --- #### 额外建议 对于特定的大规模预训练语言模型来说，官方文档往往是最权威的信息源之一。因此强烈推荐查阅 LMSYS 维护的相关资料页面寻找更精确指导说明链接地址为 https://github.com/lm-sys/FastChat/tree/main/fastchat 。从中可以找到有关不同硬件条件下部署 Vicuña 系列变体的最佳实践指南。 ---
评论 66
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是一个对称矩阵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值