【LLM】通义千问Qwen2-7b-instruct部署

已于 2024-09-23 15:50:17 修改
阅读量909 收藏 8
点赞数 4
CC 4.0 BY-SA版权
文章标签： 深度学习 人工智能 语言模型 通义千问 大模型 python 算法
于 2024-09-09 23:34:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1515312832/article/details/142071235

前言

https://www.modelscope.cn/models/qwen/Qwen2-7B-Instruct
其实完全可以按照这个介绍来装，不过容易遇到一些问题，新学习，也是记录一下

环境

python 3.10

  1. 在自己电脑上用conda创建一个新环境
  2. 找租用的服务器租一台，3090一小时也就一两块钱

我个人是租的服务器来运行的

具体步骤

安装依赖

pip install transformers==4.37.0 accelerate tiktoken einops scipy transformers_stream_generator==0.0.4 peft deepspeed

pip install modelscope

假如说，依赖的包找不到，可以从网上找到zip或者tar，通过绝对地址来进行安装

pip install 包的绝对路径

模型下载

我没有预先下载模型，完全通过代码自动下载的，快慢主要受限于网速，我在服务器上下载模型很快，十分钟左右就下好了。

from modelscope import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "qwen/Qwen2-7B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)

生成tokenizer

tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen2-7B-Instruct")
最低0.47元/天 解锁文章

200万优质内容无限畅学
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
以微薄之力，予他人些许温暖.
08-10 4万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 1247
使用 vllm 本地部署 cohere 的 command-r
[大模型]Yi-6B-chat WebDemo 部署
FL1623863129的博客
04-13 927
由60亿个参数组成的高级语言模型 Yi LLM。为了促进研究，Yi 已经为研究社区开放了Yi LLM 6B/34B Base 和 Yi LLM 6B/34B Chat。
[大模型]Qwen2-7B-Instruct vLLM 部署调用
FL1623863129的博客
06-15 1万+
vLLM框架是一个高效的大语言模型vLLMKVvLLMvLLMOpenAIAPIGPUvLLM在AutoDL平台中租赁一个 3090 等 24G 显存大小的容器实例，镜像选择如下PyTorch→2.1.0→→12.1接下来打开本地设备终端使用ssh的方式访问，在终端中依次复制登录指令和密码完成登录ssh登录成功后的界面如图所示👇或者也可以直接打开AutoDL网页端的快捷工具中选择JupyterLab并在其中点击终端打开（这种方式不需要验证🫠）接下来开始环境配置、模型下载和运行演示 ~pip。
[大模型]Qwen2-7B-Instruct 接入 LangChain 搭建知识库助手
FL1623863129的博客
06-15 2664
在上述类定义中，我们分别重写了构造函数和 _call 函数：对于构造函数，我们在对象实例化的一开始加载本地部署的 Qwen2 模型，从而避免每一次调用都需要重新加载模型带来的时间过长；_call 函数是 LLM 类的核心函数，LangChain 会调用该函数来调用 LLM，在该函数中，我们调用已实例化模型的 generate 方法，从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。
Qwen2-7B-Instruct 的 model-00004-of-00004.safetensors 的2/2
07-26
Qwen2-7B-Instruct 的 model-00004-of-00004.safetensors 的2/2
qwen2.5-7b 部署
11-15
标题 "qwen2.5-7b 部署" 暗示本文将详细讨论关于名为 "qwen2.5-7b" 的软件或系统部署过程中的必要步骤和技术细节。从给定的文件信息来看，该部署过程涉及到一系列复杂的依赖关系和依赖文件的管理。部署所依赖的文件...
Qwen2-7B-Instruct 的 model-00003-of-00004.safetensors 的2/2
07-26
Qwen2-7B-Instruct 的 model-00003-of-00004.safetensors 的2/2
[大模型]Qwen2-7B-Instruct FastApi 部署调用
FL1623863129的博客
06-15 1143
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容，粘贴代码后请及时保存文件，如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。接下来，我们打开刚刚租用服务器的 JupyterLab，如下图所示，然后打开其中的终端，开始环境配置、模型下载和运行演示。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出 issue。
LLM大模型：QWen2-72B-Instruct模型安装部署过程
2301_81940605的博客
08-12 3727
最近在给我们的客户私有化部署我们的TorchV系统，客户给的资源足够充裕，借此机会记录下部署千问72B模型的过程，分享给大家！
[大模型]Qwen2-7B-Instruct Lora 微调
FL1623863129的博客
06-15 4187
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是4倍。
【亲测免费】 Qwen2-7B-Instruct 简介：基本概念与特点
gitblog_02488的博客
12-10 1005
Qwen2-7B-Instruct 简介：基本概念与特点 引言 随着人工智能技术的飞速发展，大规模语言模型在自然语言处理领域中的应用日益广泛。Qwen2-7B-Instruct 作为 Qwen 系列语言模型中的一员，以其卓越的性能和广泛的应用前景，受到了业界的广泛关注。本文旨在介绍 Qwen2-7B-Instruct 的基本概念、技术特点及其在自然语言处理任务中的应用优势。 模型的背景 Qwen2...
Windows微调Qwen2-7B-Instruct-甄嬛
Fightever_的博客
08-23 1617
zip(model_inputs.input_ids,generated_ids)是将这两部分打包成元组列表，每个元组包含两个列表中对应位置的元素，这样，就可以在列表推导式中同时遍历输入令牌和生成的令牌。最后，output_ids[len(input_ids):] for input_ids,output_ids in zip(model_inputs.input_ids,generated_ids)是列表推导式，他提取outpu_ids中新生成的token，并将这些部分收集到新列表。
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南_qwen2 lora
HUANGXIN9898的博客
04-14 646
Lora微调是一种基于低秩矩阵的微调方法，它通过在模型的权重矩阵中引入低秩结构来减少参数数量，从而降低模型的存储和计算需求。这种方法在保持模型性能的同时，显著提高了模型的灵活性和适应性。Qwen2-7B-Instruct，一款精心设计的高级预训练语言模型，拥有70亿参数，专注于提升对指令性文本的精准理解和高效生成。它在自然语言处理（NLP）的多个专业领域中，如文本摘要、情感分析、机器翻译等，均展现出了卓越的处理能力和适应性。
Qwen2-7B-Instruct：常见错误及解决方法
gitblog_02800的博客
12-30 708
Qwen2-7B-Instruct：常见错误及解决方法 在使用Qwen2-7B-Instruct模型的过程中，用户可能会遇到各种错误。这篇文章将帮助你识别和解决这些常见错误，确保你能够顺利地部署和使用这个强大的语言模型。 引言 错误排查是任何技术工作的重要组成部分，特别是在处理复杂的语言模型时。了解常见的错误及其解决方法，可以帮助用户节省时间，避免重复的挫败感，并提高工作效率。本文旨在提供一个详细...
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
以微薄之力，予他人些许温暖.
09-01 4101
使用ms-swift高效微调qwen2-7b-instruct
怎么在Windows操作系统部署阿里开源版通义千问（Qwen2）
weixin_34008445的博客
09-12 374
怎么在Windows操作系统部署阿里开源版通义千问（Qwen2） | 原创作者/编辑：凯哥Java | 分类：人工智能学习系列教程 GitHub上qwen2截图 随着人工智能技术的不断进步，阿里巴巴通义千问团队近期发布了Qwen2系列开源模型，这一系列模型在多个领域展现出卓越的性能，特别是在自然语言理解、知识、代码、数学及多语言等能力...
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
热门推荐
寻道AI，探索AI无限可能！
07-24 1万+
在人工智能领域，自然语言处理（NLP）一直是研究的热点之一。随着深度学习技术的不断发展，大型预训练语言模型（如Qwen2-7B-Instruct）在理解与生成自然语言方面取得了显著的进展。然而，这些模型往往需要大量的计算资源和数据来进行微调，以适应特定的应用场景。Lora微调技术作为一种高效的模型优化手段，为解决这一问题提供了新的思路。本文将深入探讨Lora微调技术在Qwen2-7B-Instruct模型上的应用，旨在为读者提供一种高效、低成本的模型定制化方法。
SGLang部署Qwen2.5-VL-7B-Instruct
最新发布
05-09
### 部署Qwen2.5-VL-7B-Instruct模型至SGLang环境 要在SGLang环境中成功部署Qwen2.5-VL-7B-Instruct模型，可以按照以下方式操作： #### 下载模型权重 为了获取所需的模型权重，可以通过Hugging Face Hub或者其镜像站点完成下载。具体命令如下所示： ```bash HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download Qwen/Qwen2.5-VL-7B-Instruct ``` 如果网络条件不佳，可以选择通过镜像站点进行下载[^2]： ```bash git clone https://hf-mirror.com/Qwen/Qwen2.5-VL-7B-Instruct cd Qwen2.5-VL-7B-Instruct git lfs pull ``` #### 准备SGLang运行环境 在准备完毕模型权重之后，需要配置适合的SGLang运行环境。这通常涉及以下几个方面的工作： - **安装依赖库**：确保已安装必要的Python包以及支持大型语言模型推理的相关工具。 - **加载模型**：利用vLLM框架启动服务端并加载预训练好的Qwen2.5-VL-7B-Instruct模型。 以下是基于vLLM框架的一个简单实现案例[^1]: ```python from vllm import LLM, SamplingParams # 初始化模型实例 model_path = "/path/to/local/model/Qwen2.5-VL-7B-Instruct" llm = LLM(model=model_path) # 设置采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 接收输入数据并生成响应 prompts = ["你好"] outputs = llm.generate(prompts, sampling_params=sampling_params) for output in outputs: prompt = output.prompt generated_text = output.outputs[0].text print(f"Input Prompt: {prompt}\nGenerated Text: {generated_text}") ``` 此脚本展示了如何初始化模型、定义采样策略以及处理实际请求的过程。 #### 调整适配SGLang特性 由于目标平台为SGLang，在最终集成阶段可能还需要额外考虑该特定系统的约束条件和技术细节。比如优化内存管理机制来适应硬件资源限制；调整API接口设计以便更好地融入现有工作流等等。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Geek-Banana

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值