NLP - LLM - Langchain-Chatchat修改加载显卡
一、Langchain-Chatchat存在问题
Langchain-Chatchat 存在修改加载显卡无效,一直占用GPU0显卡的问题。
二、 Langchain-Chatchat加载显卡配置
1. 模型加载的位置
根目录下 startup.py 文件,create_model_worker_app函数中
2. 函数中提供模型加载GPU的配置,但是不生效
根本问题是底层包的中不支持该修改,只支持多卡平均加载模型
三、 修改Langchain-Chatchat加载显卡配置
1. 第一步修改(create_model_worker_app函数中 args.device参数)
设置为模型加载的显卡位置,这里设置为加载到第六块显卡(显卡编号从0开始)