FastChat 大模型部署推理；Baichuan2-13B-Chat测试、chatglm2-6b测试

已于 2024-03-05 09:55:29 修改
阅读量1.5k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 大模型部署
于 2023-09-23 14:53:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/133199866
本文档介绍了如何部署和测试FastChat上的大模型，包括chatglm2-6b的web使用和API服务，以及Baichuan2-13B-Chat的测试过程。在测试过程中遇到了Tokenizer不存在和权重加载错误的问题，解决方案是更新相关代码并设置trust_remote_code参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考：
https://github.com/lm-sys/FastChat
https://blog.csdn.net/qq128252/article/details/132759107

##安装
pip3 install "fschat[model_worker,webui]"

此文章fschat 版本0.2.3；如果后续升级可能api请求头chatglm2-6b

模型下载：

##模型下载；huggingface下载慢，可以在modelscope下载：https://modelscope.cn/my/overview
##默认模型会下载到~/.cache/modelscope/hub

from modelscope.models import Model
model = Model.from_pretrained('ZhipuAI/chatglm2-6b', revision='v1.0.9')

1、chatglm2-6b测试

python3 -m fastchat.serve.cli --model-path ./chatglm2-6b --num-gpus 2

在这里插入图片描述

web使用

1）启动控制器<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
详解FastChat部署大模型API的实战教程
herosunly的博客
04-27 20万+
本文主要介绍了使用FastChat部署大模型API，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型文件下载 3. 运行API 3.1 一键启动 3.2 一键关闭 3.3 测试API 4. vllm API 4.1 一键启动 4.2 一键关闭 4.3 测试API
【人工智能】国产开源大模型 baichuan-7B 百川聊天 BaiChat 快速开始上手实战&效果实测 —— 希望 baichuan-7B 再打磨打磨吧
热门推荐
AI天才研究院
06-16 1万+
baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
【baichuan2】（1）：使用 fastchat 部署Baichuan2-13b服务，启动8bit的worker，可以运行openai_api服务和web界面方便进行测试
freewebsys的专栏
11-25 3328
百川模式13b需要的资源更多。
二、 核心组件详解：深入FastChat的“神经中枢”
最新发布
杨小扩的博客
06-24 1109
2.1 Controller：集群的“大脑” 2.2 Model Worker：模型的“宿主” 2.3 OpenAI API Server：标准的“门户”
使用FastChat部署Baichuan2
刘炫320的博客
09-24 1975
近来，大型语言模型的市场需求呈现出蓬勃发展的态势。然而，仅仅掌握模型的数据准备和训练是不够的，模型的部署方法也变得至关重要。在这篇文章中，我们将以Baichuan2为例，利用FastChat进行模型部署的实战操作。
Fastchat：基于fastapi构建大模型加载服务
qq128252的博客
09-08 1万+
FastChat是一个开放平台，旨在为基于大型语言模型的聊天机器人的训练、服务和评估提供便捷支持。其主要特点包括： 提供最先进模型（如Vicuna）的权重、训练代码和评估代码。 支持分布式多模型服务系统，配备Web用户界面以及与OpenAI兼容的RESTful API。
Baichuan2大模型官方部署与Fastchat部署方案
T752462536的博客
10-23 2893
Baichuan2大模型官方部署与Fastchat部署方案
从0到1使用Baichuan2-7B大模型进行推理
喵先生QAQ
12-16 1065
从0到1使用Baichuan2-7B大模型进行推理
ubuntu从零部署baichuan2大模型
lenovo455的专栏
03-15 1437
ubuntu系统从零开始搭建baichuan开源大模型的部署文档。
python-Langchain-Chatchat+ChatGLM2-6B在16G内存电脑上运行
随笔
06-18 487
python-Langchain-Chatchat+ChatGLM2-6B在16G内存电脑上运行
AI大模型-使用 FastChat 部署ChatGLM3
program哲学
04-29 1110
详细介绍如何使用 FastChat 本地部署ChatGLM3模型（支持仅CPU环境）
FastChat
AI工程化、开源分享、文档翻译、代码笔记
07-17 1337
一、关于 FastChat 二、安装 方法1：使用pip 方法2：从源码 三、模型权重 1、Vicuna 权重 2、其他模型 四、使用命令行界面进行推理 1、支持的模型 2、单GPU 3、多 GPU 4、仅 CPU 5、Metal 后端（带有Apple Silicon 或 AMD GPU 的 Mac计算机） 6、英特尔 XPU（英特尔数据中心和Arc A系列GPU） 7、Ascend NPU 8、内存不够 9、更多平台和量化 10、使用 modelscope 中的模型 五、使用Web GUI提供服务 1、启
FastChat启动与部署通义千问大模型
冰之杍的博客
04-18 2882
FastChat启动与部署大模型
【ChatGLM3】（5）：使用 fastchat 部署ChatGLM3服务，启动8bit的worker，可以运行openai_api服务和web界面方便进行测试。还支持embeddings 接口！
freewebsys的专栏
11-18 7454
•最先进模型的权重、训练代码和评估代码（例如Vicuna、FastChat-T5）。•基于分布式多模型的服务系统，具有Web界面和与OpenAI兼容的RESTful API。FastChat是一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台。可以成功部署 bge-zh 模型进行 embedding 的向量化，还是非常方便的。经过实验，可以发现使用fastchat可以成功部署ChatGLM3 进行对话。需要python3的环境，因为启动模型，需要nvidia的镜像。
NLP（六十）Baichuan-13B-Chat模型使用体验
山阴少年
07-21 2576
本文主要介绍了Baichuan-13B-Chat模型使用体验，包括其与GPT系列模型在中文常识性问题上的测试，以及向量嵌入、文档问答等。
使用fastchat实现大模型高并发对话
羊城迷鹿的博客
09-20 3172
【代码】使用fastchat实现大模型高并发对话。
【大模型部署实践-2】本地模型参数调用踩坑记录
qq_40302568的博客
12-16 1万+
从modelscope手动下载了bin参数放在本地文件夹，需要加载并运行。
解决报错ValueError: The current `device_map` had weights offloaded to the disk. Please provide an `offlo
m0_60657960的博客
05-28 2692
AutoModelForCausalLM.from_pretrained的参数中加上offload_folder="offload_folder"，将模型参数卸载到内存中，时间换空间，解决直接加载权重显存不足问题。（注：有cuda，因为装环境的时候cuda可能没有正确安装，不能直接gpu加载导致电脑运行大模型的模型文件时，没有找到gpu，电脑只能加载cpu导致内存不够）一种方法如果是你的电脑没有gpu。确保你电脑正确安装cuda。如果你的电脑有gpu。
本地化部署大模型方案二：fastchat+llm(vllm)
huiguo_的博客
01-23 1万+
FastChat 是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。FastChat 为 Chatbot Arena ( https://chat.lmsys.org/ ) 提供支持，为 50 多名法学硕士提供超过 600 万个聊天请求。Arena 从并列的 LLM 比赛中收集了超过 10 万个人投票，编制了在线LLM Elo排行榜。最先进模型的训练和评估代码（例如，Vicuna、MT-Bench）。
Baichuan2-7B-Chat模型介绍
04-28
### Baichuan2-7B-Chat 模型的详细介绍 #### 模型特性 Baichuan2-7B-Chat 是由百川智能推出的一款基于 Transformer 架构的大规模语言模型，其主要特点是具备强大的对话理解和生成能力。该模型通过大量高质量数据训练而成，在多个自然语言处理任务中表现出色[^1]。 以下是 Baichuan2-7B-Chat 的核心特性： 1. **高效对话理解** 该模型经过专门优化，能够更好地理解人类的语言表达方式，并提供流畅、连贯的回答。它特别适合用于构建聊天机器人或其他需要实时互动的应用场景[^1]。 2. **大规模参数量** Baichuan2-7B-Chat 拥有约 70 亿个参数，这使得它可以捕捉复杂的语言模式并生成高度多样化的文本内容。相比更小型的模型，它的表现更加稳定且上下文感知更强[^1]。 3. **开源可用性** 百川智能提供了完整的微调代码以及预训练权重文件，开发者可以通过简单的 Python 脚本快速部署此模型至本地环境或云端服务器中运行[^1]。 4. **高性能推理支持** 结合 vLLM 等框架技术手段可以进一步提升 Baichuan2-7B-Chat 在实际生产环境中执行效率，降低延迟时间从而改善用户体验效果显著[^3]。 #### 功能概述 除了基本的文字生成外，Baichuan2-7B-Chat 还实现了许多高级功能来满足不同领域内的具体需求： - **多轮对话管理**：支持长时间记忆机制以便于维持跨回合交流的一致性和逻辑性； - **情感分析与调节**：可根据输入调整语气风格以适应特定场合下的沟通要求； - **代码编写辅助**：不仅限于自然语言处理范畴内还扩展到了程序开发方面给予一定帮助； - **翻译服务供给**：覆盖多种主流国际语言之间的相互转换操作便捷易用。 #### 应用场景举例 由于 Baichuan2-7B-Chat 出色的表现力及其灵活性设计原则使其广泛适用于以下几个方向上的实践当中: 1. 客服自动化解决方案 – 提升响应速度减少人工成本投入的同时保持较高服务质量水准。 2. 教育行业智能化转型助力教师备课授课环节提高教学资源利用率促进个性化学习路径规划形成闭环生态体系结构完善程度更高。 3. 游戏娱乐产品增值服务增强沉浸感体验吸引更多目标群体参与其中延长生命周期价值创造潜力更大。 ```python pip install modelscope from modelscope import snapshot_download model_id = "baichuan-inc/Baichuan2-7B-Chat" model_dir = snapshot_download(model_id, cache_dir="./", revision="master") ``` 以上为官方推荐的标准安装命令行脚本形式可以直接复制粘贴到终端窗口里执行完成整个过程非常简便快捷无需额外配置其他依赖项即可成功获取所需版本号对应的全部资料包供后续深入研究探索所用。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值