用python streamlit搭建基于deepseek-r1个人文件库问答系统，同时调用bge-m3嵌入模型对文件库进行向量化处理，然后deepseek-r1模型根据处理结果进行问题解答。

<think>嗯，用户想用Python的Streamlit结合DeepSeek-R1和BGE-M3模型搭建一个个人文件库的问答系统。首先，我需要理清楚整个流程。首先，用户需要上传文件，然后对文件内容进行向量化处理，存储到向量数据库中，最后用大模型来生成回答。 首先，系统需要文件上传功能，Streamlit的st.file_uploader应该可以搞定。然后，处理文件部分，可能需要读取不同格式的文件，比如PDF、Word、TXT等。这需要相应的库，比如PyPDF2处理PDF，python-docx处理Word文档。然后，文本需要分块，可能用LangChain的文本分割器，比如RecursiveCharacterTextSplitter。 接下来是向量化处理，BGE-M3模型负责生成嵌入向量。需要加载模型，可能需要用HuggingFace的Transformers库。然后存储到向量数据库，比如FAISS，这样方便后续的相似度搜索。这里可能需要用到LangChain的FAISS集成。 然后是问答部分，用DeepSeek-R1模型生成回答。需要调用模型，可能需要通过Ollama或者本地部署的API。用户之前提到过Ollama的配置，所以在代码里可能需要设置API地址。同时，需要将用户的问题转换成向量，搜索数据库中最相关的文本块，把这些上下文和问题一起输入给DeepSeek-R1生成回答。 还需要考虑如何整合Streamlit的界面，把上传、处理、问答的步骤展示出来。可能需要在Streamlit中分步骤显示进度，比如上传成功、处理完成等状态提示。 另外，用户引用了本地部署的模型，比如DeepSeek-R1和BGE-M3，所以代码中需要正确加载这些模型。可能需要检查模型路径是否正确，以及是否有足够的计算资源，比如GPU支持，来运行这些模型。 可能遇到的问题包括文件解析错误，比如某些PDF无法读取，这时候需要异常处理。还有模型加载失败，可能路径错误或者依赖库版本不兼容。此外，向量数据库的构建和查询效率也需要考虑，特别是当文件库很大时，FAISS是否能够高效处理。 还需要测试整个流程的连贯性，确保从上传到回答的每个环节都能顺畅运行。可能需要分段调试，先测试文件上传和解析，再测试向量生成和存储，最后测试问答部分。 最后，用户可能希望系统能够保存处理后的向量数据库，避免每次重启都重新处理文件，所以可能需要持久化存储FAISS索引。这可以通过FAISS的save_local和load_local方法实现。 总结一下，步骤大概是：1. 文件上传与解析；2. 文本分块与向量化；3. 向量数据库构建；4. 问题处理与回答生成。每个步骤都需要用Streamlit的组件展示出来，并且处理好模型加载和数据处理的问题。</think>以下是如何使用Python Streamlit结合DeepSeek-R1和BGE-M3模型构建个人文件库问答系统的分步实现方案： ### 一、系统架构设计 1. **文件处理模块**：支持PDF/DOCX/TXT格式解析 2. **向量化模块**：基于BGE-M3模型生成嵌入向量[^2] 3. **存储模块**：使用FAISS向量数据库存储特征向量 4. **问答引擎**：DeepSeek-R1模型实现问答生成[^3] ```python # 核心依赖库 import streamlit as st from langchain_community.vectorstores import FAISS from transformers import AutoModel, AutoTokenizer import ollama ``` ### 二、关键步骤实现 #### 1. 文件预处理 ```python def parse_file(uploaded_file): """支持多格式文件解析""" if uploaded_file.type == "text/plain": return uploaded_file.read().decode() elif uploaded_file.type == "application/pdf": from PyPDF2 import PdfReader return " ".join([page.extract_text() for page in PdfReader(uploaded_file).pages]) elif "wordprocessingml" in uploaded_file.type: from docx import Document return " ".join([p.text for p in Document(uploaded_file).paragraphs]) ``` #### 2. 向量化处理 ```python def init_embedding(): """加载BGE-M3嵌入模型[^2]""" model = AutoModel.from_pretrained("/home/HwHiAiUser/deepseek-ai/bge-m3") tokenizer = AutoTokenizer.from_pretrained("/home/HwHiAiUser/deepseek-ai/bge-m3") return model, tokenizer def create_embeddings(text_chunks): """生成文档向量""" inputs = tokenizer(text_chunks, padding=True, truncation=True, return_tensors="pt") return model(**inputs).last_hidden_state.mean(dim=1).detach().numpy() ``` #### 3. 问答系统集成 ```python def query_engine(question, vector_db): """DeepSeek-R1问答处理[^3]""" # 向量相似度检索 docs = vector_db.similarity_search(question, k=3) context = "\n".join([d.page_content for d in docs]) # 构造prompt prompt = f"基于以下上下文：\n{context}\n\n回答：{question}" # 调用Ollama服务[^1] response = ollama.generate( model='deepseek-r1:14b', prompt=prompt, options={'temperature': 0.2} ) return response['response'] ``` ### 三、Streamlit界面开发 ```python def main(): st.title("个人知识库问答系统") # 文件上传模块 uploaded_files = st.file_uploader("上传文档", type=["pdf","docx","txt"], accept_multiple_files=True) # 向量数据库构建 if uploaded_files: text_chunks = split_documents([parse_file(f) for f in uploaded_files]) embeddings = create_embeddings(text_chunks) vector_db = FAISS.from_embeddings(zip(text_chunks, embeddings)) # 问答交互 question = st.text_input("输入问题") if question: answer = query_engine(question, vector_db) st.markdown(f"**回答**: {answer}") ``` ### 四、部署注意事项 1. 模型路径配置：需确认`/home/HwHiAiUser/`下的模型文件权限 2. 硬件要求：建议至少16GB显存支持大模型推理 3. Ollama服务：需在后台保持运行状态并开放API端口[^1]