Dify之八添加各种在线大模型

Dify 本地部署：搭建工作流和智能体

DIfy工作流通过将复杂任务分解为多个步骤（如LLM提示词扩充、视频生成、结果修饰等）提升AI应用的性能和稳定性。本文以"小猫游泳"为例，演示了文生视频工作流的完整流程：用户输入关键词后，LLM扩充描述，TEXT TO VIDEO生成视频，LLM2修饰输出，最终返回包含视频链接的结果。该工作流显著降低了系统复杂度，减少了对单一模型能力的依赖，同时提高了任务的可解释性和容错性。示例中，系统成功生成了小猫游泳视频并返回有效期为1天的播放链接。

欢迎加入我们，分享使用经验

DIFY开发之模型供应商注册申请流程以及Dify模型供应商配置

本文通过一个简单案例，带大家实操了**Dify 搭建 AI 搜索引擎**

本篇文章介绍如何将 Dify 本地私有化部署，并且接入 Ollama 部署本地模型，实现在本地环境中部署和管理 LLM，再结合 cpolar 内网穿透实现公网远程访问 Dify。Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。Ollama 是一个本地推理框架，允许开发人员轻松地在本地部署和运行 LLM，例如 Llama 3、Mistral 和 Gemma。

将Xinference中的reranker模型集成到Dify中，主要思路是先在Xinference中部署reranker模型，使其能提供稳定的推理服务，然后通过Dify的模型供应商配置功能，将Xinference作为自定义模型供应商添加到Dify中，从而让Dify可以调用Xinference中的reranker模型进行相关的重排序任务。

经过不断的发展和实践，我们的大模型应用平台从最初整合多个大模型 API 接口，提供简单的问答功能，并通过 dify 项目提供复杂工作流的流程编排能力，到后来将工作流引擎的执行切换到 rill-flow 项目，在保证前端操作体验不变的同时优化了工作流的性能表现和稳定性。

这里我们是对dify已有的模型供应商添加新分类和新模型，所以有不少现成的工具来使用。如果要添加一个全新的模型供应商，会稍微更复杂一点，但是其实原理差不多，其实就是实现模型的请求。另外，百度文心的rerank模型我已经提交pr给dify官方了，目前已经merge了，估计在下个版本就可以直接使用了。

本研究聚焦AI大模型在低代码平台中的集成与应用，以Dify与火山引擎的结合为例，提出一种高效配置方法。通过分析模型调用接口、参数优化策略及性能评估指标，验证了该方案在企业级应用场景中的可行性。实验结果表明，相较于传统开发模式，本方法可将部署效率提升60%以上，同时保持98.2%的推理准确率。研究进一步揭示了密钥管理、上下文长度限制等关键配置参数对模型性能的影响机制，为AI工程化落地提供了可复用的技术路径。

要将 dify.ai 配置链接到阿里云百练等云厂商的 DeepSeek 模型.

注意：即使本地插件安装也需要联网，因为插件是由python开发，difypkg文件中只包含一个基本的python文件，安装时需要联网下载python库。如果需要离线安装dify插件，需要先在联网状态下进行dify部署，并且完成插件安装，同时下载所需安装插件的difypkg文件。启动完成在插件页面发现没有对应的插件，这时候点击本地插件，安装之前下载的difypkg文件，安装完成之后插件可以用了。如果下载，会下载一个.difypkg的文件，下载完成之后仍然可以进行安装，在安装插件选项中选择本地插件即可安装。

火山插件安装失败或配置不显示的解决方案：1)在线安装失败时可本地安装插件文件；2)确保只运行一个插件守护进程副本，避免写冲突；3)多租户环境下需为每个租户单独安装插件并配置API密钥（可与admin相同）；4)注意保存配置才能生效。关键点：单进程运行、多租户独立配置、本地安装备选方案。

   前面已经介绍了Dify挂接Ollama的本地DeepSeek的方法，参照我的博客：https://blog.csdn.net/quickrubber/article/details/147294170       本文介绍了2种，挂接在线API的方法，供大家参考。

刚开始在系统模型设置中设置在线大模型时，也不能使用，总是显示internal error什么的。使用命令：ollama list 可以列出已经安装的大模型，NAME后面有用。保存后，Ollama下显示模型为0个，重启Dify多次，重新添加模型多次仍一样。然后在dify/docker目录下打开终端管理员，输入命令启动dify。按前文1.4修改dify的docker配置后，居然就可以了！在终端中粘贴下载，下载完成后可以输入对话，表示安装成功。点击“模型供应商”，选择ollama，点击安装。

这些API接口定义涵盖了对话消息的创建、文件上传、会话管理、消息反馈、历史记录获取、语音转文字和文字转语音等功能。这些API接口定义包含了创建、更新、删除文档和知识库，以及查询文档状态和分段信息的功能。