LangChain-ChatGLM-Webui项目部署指南：从基础安装到API服务-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00469/article/details/148579036

LangChain-ChatGLM-Webui项目部署指南：从基础安装到API服务

项目概述

LangChain-ChatGLM-Webui是一个结合了LangChain框架与ChatGLM大语言模型的Web交互界面项目，为用户提供了便捷的大模型交互体验。本文将详细介绍该项目的多种部署方式，包括直接安装、Docker环境运行以及API服务部署。

基础环境准备

在开始部署前，请确保您的系统满足以下基本要求：

Python 3.8.1或更高版本
已安装PyTorch深度学习框架
建议使用NVIDIA GPU以获得更好的性能体验

直接安装方式

1. 获取项目代码

首先需要获取项目源代码，可以通过版本控制工具下载项目到本地。

2. 安装依赖包

进入项目目录后，执行以下命令安装所需依赖：

pip install -r requirements.txt

国内用户建议使用清华源加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 可选组件安装

如果需要使用ModelScope版本，需额外安装ModelScope包：

pip install modelscope==1.4.3

4. 启动应用程序

根据您选择的版本，启动方式有所不同：

Huggingface版本：直接执行python3 app.py
ModelScope版本：先进入modelscope目录再执行python3 app.py

Docker部署方案

基础Docker环境运行

拉取并运行基础镜像：

docker run -it --rm --runtime=nvidia --gpus all --network host registry.cn-beijing.aliyuncs.com/public-development-resources/langchain-chatglm-webui:Base bash

在容器内获取项目代码并安装依赖
启动应用程序

简化版Docker运行

对于希望快速体验的用户，可以直接运行预配置好的镜像：

docker run -d --name langchain-ChatGLM-webui --runtime=nvidia --gpus all --network host registry.cn-beijing.aliyuncs.com/public-development-resources/langchain-chatglm-webui:latest

运行后，通过浏览器访问http://服务器IP:7860即可使用Web界面。

数据持久化配置

为防止容器重启后需要重新下载模型，建议挂载缓存目录：

-v langchain-ChatGLM-webui-cache:/root/.cache/

API服务部署

项目支持通过Jina Serving提供API服务，便于集成到其他系统中。

1. 启动API服务

lc-serve deploy local jina_serving

2. API接口使用

初始化模型

curl -X 'POST' \
  'http://localhost:8080/reinit_model' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "large_language_model": "ChatGLM-6B-int8",
    "embedding_model": "text2vec-base"
  }'

构建向量库

curl -X 'POST' \
  'http://localhost:8080/vector_store' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "file_path": "./README.md"
  }'

发送查询请求

curl -X 'POST' \
  'http://localhost:8080/predict' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "input": "ChatGLM-6B的具体局限性？"
    "use_web": true, 
    "top_k": 3,  
    "history_len": 1, 
    "temperature": 0.01, 
    "top_p": 0.1, 
    "history": []
  }'

3. Docker快速启动API服务

docker run -d --name LangChain-ChatGLM-Webui --runtime=nvidia --gpus all --network host registry.cn-beijing.aliyuncs.com/public-development-resources/langchain-chatglm-webui:api