chatglm2-2b+sdxl1.0+langchain打造私有AIGC（六）-完结

一、前言

前面五篇文章已经将整个应用介绍得差不多了，昨天我将应用的已经开源到github，源码下载地址：

https://github.com/hubo0417/EasyGC

在此我要说两点

1.开源版本的LLM，是基于ChatGLM2-6B-INT4（运行时显存暂用：约6G）的量化模型进行开发的，因为考虑到大多数人的显卡并没有支持全量模型的能力。如果你的显卡够好，请自己替换成全量模型，甚至32K模型（我开发的时候使用的32K模型ChatGLM2-2B-32K，运行时显存占用：13G）

2.如果不使用ChatGLM2-6B-INT4的量化模型，可能会导致应用内的提示词与模型不能完美契合的情况，尤其是在Agent模块，让LLM判断使用哪些工具的场景。遇到这种情况，请自行修改提示词

3.开源仓库中只包含应用源码，不包含LLM，Embedding，SDXL的模型文件，如有需要模型文件的朋友可以留言，我私发，也可以自行去huggingface下载

二、功能介绍

应用分为3个模块

1、文本生成模块

在这个模块里主要有三个功能，一是对话功能，二是上传文本文件进行向量化的功能，三是上传自定义工具功能

1.1、对话功能

在文本框输入信息，点击【发送信息】按钮实现与AI对话

1.2、上传文本文件功能

在页面最右边，拖入事先处理好的文本文件（建议是txt文件），设置好参数，点击【处理文件】。便可将文档中的内容进行向量化处理（向量化后的文档，目前需配合工具使用，可自己修改源码直接使用）

1.3、上传自定义工具

在页面输入框的下方，有一个【工具】的下拉框，还有一个【上传工具】的上传组件，将工具拖入到上传组件中，点击【加载工具】，便可将工具植入到应用中，在下来框中出现对应选项。（工具其实就是.py文件，自己可以参照源码，写一个自己的.py文件，上传之后就可以应用便会加载你的.py文件）

模块思路：在这个页面，如果【工具】下拉框选择了一个或多个工具，当点击【发送消息】后，应用会先让LLM判断是否有合适的工具来处理用户输入，如果判断出没有合适的工具则会让LLM直接回答用户的输入，如果有合适的工具，则会调用对应的工具

工具思路：1/根据用户输入信息在工具中提取关键词，2/根据关键词到向量数据库查找对应文档，3/根据对应文档内容让LLM生成目标内容<