2302_79795489的博客

mcp（model context protocol，模型上下文协议）标准化协议：让大模型用统一的方式来调用工具，是llm和工具之间的桥梁A2A：Agent-to-Agent协议。

或者 pip install "langchain-chatchat[xinference]" -U（扩展安装，不仅安装 langchain-chatchat 包及其默认依赖项，还会安装 [xinference] 这个额外的依赖项组中定义的所有依赖项）（如果不设置这个的话，会找不到配置文件，必须到配置文件所在的目录下才可以，即cd hy-tmp/langchain_test/langchain-chatchat/）找到内容/usr/lib/x86_64-linux-gnu/libgomp.so.1。

直接到官网复制下载命令即可。

在vscode打开dify——docker这个文件夹，然后终端执行两条命令。（3）复制模型名称时，检查不要多带了空格，否则会找不到模型，引发404错误。（2）执行程序时，检查一下问题栏有没有**库无法导入的情况！（1）选择Ollama作为模型供应商，填入模型名字和基础URL。这步耗时最久，因为服务器在国外（可开节点试试）且文件较大。（2）刷新一下，并确保模型已开启，然后设置系统推理模型。1、Docker要先运行起来，才能打开dify网页！用vscode把文件打开，最后加上两行。（先复制一份，防止修改失败）

这样可以通过访问主机的 3000 端口来访问容器内部运行的服务，即在主机浏览器中访问 http://localhost:3000，实际上会访问到容器内的 http://localhost:8080。点开设置，将聊天模式改成查询模式（ai会更基于它查询出来的数据），将向量数据库的最大上下文片段改成6（每次查询，去数据库里取出6个和我们问题相关的片段），文档相似性阈值改成中（查询到的数据和问题相关程度的阈值）rag做的是挑出几个和问题语义相关的单个片段，发给大模型来分析回答，大模型并没有看整本书。

1、下载模型（gemma-2-9b-it）软件依赖：软件下载：模型下载：export MODELSCOPE_CACHE='/hy-tmp' 设置下载路径2、下载swift框架（通过源码安装SWIFT——>可以修改安装包，方便运行训练和推理脚本）cd swift3、启动网页端cd swift4、在网页端设置参数，开始微调。

CUDA_VISIBLE_DEVICES=0 NCCL_P2P_DISABLE="1" NCCL_IB_DISABLE="1" python inference_hf.py output/checkpoint-3000/ --prompt "类型#裙*版型#显瘦*材质#设置环境变量，指向希望保存的模型文件的路径（如果不设置这个环境变量，ModelScope 会使用默认的缓存路径来存储下载的模型文件）（复制粘贴命令的时候，最好问一下ai，了解每个参数的含义，然后替换该替换的路径）

Function Calling指在使用大语言模型时，模型能够根据用户输入的自然语言指令，自动识别需要调用的外部函数，并将相关参数传递给函数，以实现特定的功能或获取特定的信息。• 理解语义：大模型首先会对用户输入的文本进行深度语义理解，通过其预训练的语言知识和模式识别能力，分析出文本中所蕴含的意图和关键信息，判断是否需要调用函数以及应该调用何种函数。• 匹配函数：在模型内部有一个函数目录或知识库，存储了各种可调用函数的信息，包括函数的功能描述、参数要求等。模型会将解析出的语义与这些函数信息进行匹配，找到最适

一个办法是，规定响应的答案格式是字典，里面的键值表示了是什么样的内容（比如answer对应字符串内容，table表示表格，bar条形图，line折线图，scatter散点图），此时，文件对象在内存中的状态被改变，不再维护之前的文件指针位置。关闭文件后，文件指针并不会回到最开始的位置，文件对象也不再处于可用状态，无法直接获取其指针位置信息。重新打开文件时，文件指针默认会位于文件开头（除非你使用特定的模式打开文件，例如以追加模式。为了防止潜在的安全问题，在使用此功能前，你必须明确表示同意使用，也就是要把。

因为懂代码知识的是模型。因为 Python 应用场景广泛，从简单的代码执行、文件操作到复杂的网络交互、数据处理等，不同任务所需工具差异很大，所以需要用户灵活配置工具，以满足多样化的 Python 任务需求。func参数赋值为使用工具时调用的函数名或方法名，因为使用agent执行器时，调用的是invoke方法，所以把执行器的invoke方法作为参数传入即可。它可以在模块的顶层定义，不依赖于任何特定的类或对象，是全局范围内可调用的代码单元。方法：与类或对象相关联的函数，定义在类的内部，是类的一部分。

【代码】PDF问答工具（基于openai API和streamlit）

Document Loader文档加载器在 langchain_community. document_loaders 里有很多种文档加载器1、纯文本加载器：TextLoader，纯文本（不包含任何粗体、下划线、字号格式）loader = TextLoader("./demo.txt") # 创建TextLoader实例，参数是文件路径docs = loader.load() # 加载文件内容将文本文件的内容加载到documents列表中。每个文档是一个Document对象，包含文本内容（

是 Streamlit 提供的一个用于在应用会话期间存储和共享数据的对象，从底层实现来讲，它的行为类似于 Python 的字典（基于数据结构的灵活性不同、功能侧重点不同以及代码的可读性和维护性，建议将memory和messages分开使用，各自发挥其优势。）创建聊天消息框，并自动选择图标和样式来显示消息内容。将 AI 的回复封装成消息对象，添加到会话状态的。：创建一个聊天输入框，获取用户输入的消息。将用户输入的消息添加到会话状态的。列表中，并在界面上显示该消息。列表中，并在界面上显示该消息。

除了自行构建带记忆的对话链之外，langchain还提供了现成可用的链——1、创建链：创建对话需要的模型和记忆，代入ConversationChain里2、使用链：自动将用户输入并入历史消息里。不需要手动加载记忆。自动将上一轮对话中的回答加入历史消息里。即不需要手动存入记忆。3、带提示模板的注意：模板里表示用户输入的变量名必须得是input，表示历史消息的变量名必须得是history。

【代码】小红书文案生成器（基于openai API和streamlit）

5、如果在使用 Streamlit 的 number_input 函数时仅设置了 min_value 和 max_value，而没有指定 value 参数，那么数字输入框的初始值会默认为 min_value。st.write：会根据输入内容以不同样式显示，如普通文本正常显示，Markdown 文本会进行相应的格式渲染，列表和字典会以表格形式展示。只需要导入这个函数就可以使用其功能，而不需要关心其内部实现细节和相关的导入语句，即不需要再次导入openai相关的库。2、st.title：主标题。

上传文件，把真正的项目源代码文件拖进框里（注意不包括venv这种虚拟环境相关的文件）删除文件：进入文件里，点击右上角的三点，注意也需要commit changes。requirements.txt里既包括自己安装过的库，也包括这些库的依赖库。因为streamlit的社区云服务会从Github仓库里拉取代码。如何把项目部署到一个具有公网ip地址的服务器上，让他人看到？更新文件：把同名文件上传即可覆盖。

Streamlit 是一个用于快速构建数据应用的开源 Python 库，由 Streamlit 公司开发并维护。它极大地简化了从数据脚本到交互式 Web 应用的转化过程，让开发者无需具备前端开发的专业知识，就能轻松创建出美观、实用的交互式应用。Streamlit≈前端框架+后端框架+云服务器。

prompt | model | output_parser 把提示值传给模型，又把模型输出传给解析器。链让我们组合出复杂的流程，通过langchain表达式语言，组件之间的上下游关系也能表现得很清晰明了。提示模板、聊天模型和输出解析器都实现了langchain的runnable接口，（注意：链里聊天模型可以换成语言模型，提示模板和输出解析器也不是必须有的）| 表示把前面组件的输出作为后面组件的输入，也就是“管道操作”。把对多个组件的一系列调用，称为“链”（Chain）。都具有invoke方法（

因为给ai学习的问答对示例的格式差不多， 所以可以用模板。1、ChatPromptTemplate用于创建包含系统、用户和AI角色消息的模板（构建聊天提示模板），FewShotChatMessagePromptTemplate用于创建少样本学习的提示模板，它基于多个示例来引导模型生成特定格式的输出。都是from_messages方法构建模板，invoke方法填充变量。from_messages不仅可以接收元组作为消息列表的元素，也接收提示模板作为元素。

模型又可分为语言模型（擅长文本补全，输入和输出都是字符串）和聊天模型（擅长对话，输入时消息列表，输出是一个消息）两大类。以调用openai的聊天模型为例，先安装langchain_openai库。

1、没有记忆，记不住上一次提问2、上下文窗口有限，不能一次喂给它太大的信息量，比如处理大文档就不行3、不擅长做计算（根本不做计算，只是猜测下一个最可能出现的token，用它来回答）1、用python列表来储存之前的消息，在下次提问时把历史对话一块发给AI——有记忆2、将长文档的内容先转换成向量，存储到向量数据库；然后在用户提问后，利用相似性搜索，把和问题相关的段落提取出来，一块发给AI——只接收和问题相关的段落，而不是整个文档。

你是小红书爆款写作专家，请你遵循以下步骤进行创作：首先产出5个标题（包含适当的emoji表情），然后产出1段正文（每一个段落包含适当的emoji表情，文末有适当的tag标签）。标题字数在20个字以内，正文字数在800字以内，并且按以下技巧进行创作。一、标题创作技巧1. 采用二极管标题法进行创作1.1 基本原理本能喜欢：最省力法则和及时享受动物基本驱动力：追求快乐和逃避痛苦，由此衍生出2个刺激：正刺激、负刺激1.2 标题公式正面刺激：产品/方法+只需1秒（短期）+便可开挂（逆天效果）

提示：输入给AI的问题或指令好的提示能极大地提高AI的理解和执行的效率，让AI提供更准确和有用的回答。提示工程（Prompt Engineering）：研究如何写出好的提示零样本：不给AI任何回应示范小样本：给AI几个回答，作为参考的例子言简意赅，不要啰嗦空洞不严谨。

（例如，全局环境、虚拟环境等），而你在一个没有安装openai包的环境中运行代码。检查并激活正确的环境，然后再次尝试运行上述安装命令。2、创建API key（注意：复制保存好API key，因为出于安全原因，你将无法通过 API keys 管理界面再次查看它）设置不正确，可以通过左下角的状态栏找到当前选择的Python解释器，点击它可以切换到包含openai包的正确环境。pip show openai +运行调用api的.py文件。3、可用性测试（简单调用api）把终端的输出发给通义千问分析，

基于token数量（100个token≈75个单词）计费，toekn数*token单价不仅提示token要计费，回应token也要计费。

API（Application Programming Interface，应用程序编程接口）定义了两个软件程序之间的服务合约，即双方是如何使用请求和响应来进行通讯的，就像是“如何与服务对话的说明书”。绝大多数API是基于HTTP协议的。我们的代码程序就是客户端，把给ai的提示放到请求内容里，发送给服务端（比如open ai的服务器），得到对方的响应（包含ai的回复）一个请求-响应的例子如下：为了方便用户使用ai服务，大模型公司在API的基础上封装了相应的Python库。

代替你的不是ai，而是会使用ai的人。而在这之上还有会打造ai的人。