LLaMA-Factory 快速入门（五）：终端命令实操记录

1. 引言

在使用 LLaMA-Factory 进行大模型的微调、评估和部署时，llamafactory-cli 是最常用的命令行工具。它不仅支持命令行对话、训练、评估，还提供了网页界面、API 服务等多种交互方式。

本文将详细介绍 llamafactory-cli 的常用命令及其使用方法，帮助你快速上手并高效完成相关任务。

2. 命令使用

2.1 version（显示版本）

功能：显示 LLaMA-Factory 的版本信息，验证安装是否成功

执行命令：

llamafactory-cli version

执行后的效果如下：

2.2 webui（启动 LlamaBoard 界面）

功能：启动可视化界面 LlamaBoard，提供图形化操作入口

执行命令：

llamafactory-cli webui

执行后返回：

浏览器访问：http://127.0.0.1:7860

2.3 chat（命令行聊天）

功能：接在终端中与模型进行对话，无需启动网页

最小化命令：

llamafactory-cli chat \
  --model_name_or_path 模型名称或本地路径 \
  --template 模板名称

例如：

llamafactory-cli chat \
  --model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \
  --template deepseekr1

执行效果如下：

当然也可以从模型训练完的chekcpoint启动，命令如下：

llamafactory-cli chat \
  --model_name_or_path 模型名称或本地路径 \
  --adapter_name_or_path 训练后的路径\
  --template 模板名称

例如：

llamafactory-cli chat \
  --model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \
  --adapter_name_or_path saves/DeepSeek-R1-1.5B-Distill/lora/cx_666_final_optimized \
  --template deepseekr1

2.4 webchat（网页聊天）

功能：启动网页端聊天界面

webchat的功能跟chat命令差不多，只是webchat是给了一个web页面进行对话。最小化命令如下：

llamafactory-cli webchat \
  --model_name_or_path 模型名称或本地路径 \
  --template 模板名称

例如：

llamafactory-cli webchat \
  --model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \
  --template deepseekr1

当然也可以从模型训练完的chekcpoint启动webchat，跟chat命令差不多：

llamafactory-cli webchat \
  --model_name_or_path 模型名称或本地路径 \
  --adapter_name_or_path 训练后的路径\
  --template 模板名称

2.5 api（启动 API 服务）

功能：启动 OpenAI 风格的 API 服务

最小化命令：

llamafactory-cli chat \
  --model_name_or_path 模型名称或本地路径 \
  --template 模板名称

例如执行：

llamafactory-cli api \
  --model_name_or_path /Users/yanglinwei/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B \
  --template deepseekr1

可以看到输出了如下信息：

浏览器访问：http://localhost:8000/docs

可以看到开放了3种API，分别是：

直接执行ListModels列出当前可用的模型，可以看见返回：

执行Create Chat Completion，示例请求内容如下：

{
  "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
  "messages": [
    {
      "role": "user",
      "content": "你好，可以自我介绍一下吗？"
    }
  ],
  "do_sample": true,
  "temperature": 0.7,
  "top_p": 0.9,
  "n": 1,
  "max_tokens": 512,
  "stream": false
}

可以看到返回：

2.6 train（训练模型 ）

功能：启动训练流程，对模型进行微调

详情可以参考：《LLaMA-Factory 快速入门（一）：Mac 下大模型微调与部署全流程》

2.7 eval（评估模型 ）

功能：：对训练后的模型进行性能评估

详情可以参考：《LLaMA-Factory 快速入门（一）：Mac 下大模型微调与部署全流程》

2.8 export（导出模型 ）

功能：合并 LoRA 适配器并导出最终模型

详情可以参考：《LLaMA-Factory 快速入门（一）：Mac 下大模型微调与部署全流程》

3. 总结

本文详细介绍了 LLaMA-Factory 的命令行工具 llamafactory-cli 的常用功能，包括版本检查、命令行聊天、网页聊天、可视化界面、API 服务，以及训练、评估、导出等核心操作。

• 可以先从 chat / webchat 开始，快速体验模型效果；
• 如果需要部署服务，建议使用 api 模式；
• 完整训练流程中，train → eval → export 是必经的三个步骤。

通过灵活使用这些命令，大家可以快速搭建起属于自己的大模型微调与应用环境 。