电脑上使用阿里的 Qwen模型

要在自己电脑上使用阿里的 Qwen 模型，可以按照以下步骤进行操作：
环境配置
基础环境：
安装 Python：确保已安装 Python 3.8 或以上版本。在终端或命令提示符中运行 python --version 检查。若未安装或版本不符，请从 python.org 下载并安装，记得添加到 PATH。
创建虚拟环境（推荐）：为避免依赖冲突，建议创建虚拟环境。可以使用 conda 或 virtualenv 创建虚拟环境。
安装核心库：
运行以下命令安装 Qwen 2.5-Coder 必需的 Python 库：

bash 
pip install torch torchvision transformers

GPU 加速（如需）：若您计划利用 GPU 加速，需安装适配您 CUDA 版本的 PyTorch。例如，对于 CUDA 11.7，使用：

bash 
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

获取 Qwen 2.5-Coder 模型
克隆代码仓库：
从 GitHub 克隆 Qwen 2.5-Coder 仓库：

bash 
git clone https://github.com/your-repo/Qwen-2.5-Coder.git
cd Qwen-2.5-Coder

若未安装 Git：
Linux/macOS：运行 sudo apt-get install git。
Windows：访问 git-scm.com 下载安装。
下载模型权重：
使用 transformers 库从 Hugging Face 下载模型权重：

Python 
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "qwen-2.5-coder"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

或者，在 Python 交互式 Shell 中直接执行上述代码。
注意：如果需要 Hugging Face 认证，请提供你的凭证或设置认证令牌。
使用 Qwen 模型
推理：
以下是一个简单的推理示例：

Python 
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "qwen-2.5-coder"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "Hello, how are you?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

微调：
grounding任务微调：即目标检测等定位任务，命令行使用：

bash 
CUDA_VISIBLE_DEVICES=0 \MAX_PIXELS=1003520 \swift sft \
    --model Qwen/Qwen2.5-VL-7B-Instruct \
    --dataset 'AI-ModelScope/coco#20000' \
    --train_type lora \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --freeze_vit true \
    --gradient_accumulation_steps 16 \
    --eval_steps 100 \
    --save_steps 100 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --dataset_num_proc 4

自定义数据集格式：

JSON 
{
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "<image>描述图像"},
        {"role": "assistant", "content": "<ref-object><bbox>和<ref-object><bbox>正在沙滩上玩耍"}
    ],
    "images": ["/xxx/x.jpg"],
    "objects": {
        "ref": ["一只狗", "一个女人"],
        "bbox": [[331.5, 761.4, 853.5, 1594.8], [676.5, 685.8, 1099.5, 1427.4]]
    }
}

验证：
训练完成后，使用以下命令对训练时的验证集进行推理：

bash 
CUDA_VISIBLE_DEVICES=0 \swift infer \
    --adapters output/vx-xxx/checkpoint-xxx \
    --stream false \
    --max_batch_size 1 \
    --load_data_args true \
    --max_new_tokens 2048

注意：–adapters 需要替换成训练生成的 last checkpoint 文件夹。由于 adapters 文件夹中包含了训练的参数文件，因此不需要额外指定 --model。

以上就是文章全部内容了，如果喜欢这篇文章的话，还希望三连支持一下，感谢！