书生·浦语大模型全链路开源体系【大模型第5课-笔记】

教程链接：https://github.com/InternLM/tutorial/blob/main/lmdeploy/

1.LMDeploy 的量化和部署

将官方准备好的基础环境/share/conda_envs 复制到 conda 环境：

$ /root/share/install_conda_env_internlm_base.sh lmdeploy

激活环境。

$ conda activate lmdeploy

手动安装lmdeploy

# 解决 ModuleNotFoundError: No module named 'packaging' 问题
pip install packaging
# 使用 flash_attn 的预编译包解决安装过慢问题
pip install /root/share/wheels/flash_attn-2.4.2+cu118torch2.0cxx11abiTRUE-cp310-cp310-linux_x86_64.whl
pip install 'lmdeploy[all]==v0.1.0'

2 服务部署

从架构上把整个服务流程分成下面几个模块：

• 模型推理/服务。主要提供模型本身的推理，一般来说可以和具体业务解耦，专注模型推理本身性能的