如何用Langchain封装自定义语言模型

最新推荐文章于 2025-06-18 15:11:17 发布

pumpkin84514

最新推荐文章于 2025-06-18 15:11:17 发布

阅读量1k

点赞数 16

CC 4.0 BY-SA版权

分类专栏： python相关 AI相关学习文章标签： langchain 语言模型

本文链接：https://blog.csdn.net/pumpkin84514/article/details/141147363

为了将一个自定义的语言模型集成到 LangChain 中，你需要创建一个类来继承 langchain_core.language_models.llms.LLM 类，并实现特定的方法。下面是一些关键点，可以帮助你构思如何集成你的语言模型：

继承 `LLM` 类

你需要从 langchain_core.language_models.llms.LLM 类继承，并且至少实现 _call 方法。这个基类提供了一些通用的功能，比如回调管理等。

实现 `_call` 方法

这是最重要的方法，它定义了如何调用你的语言模型来生成文本。方法签名如下：

def _call(
    self,
    prompt: str,
    stop: Optional[List[str]] = None,
    run_manager: Optional[CallbackManagerForLLMRun] = None,
    **kwargs: Any,
) -> str:

prompt: 用户提供的文本提示。
stop: 一个可选的字符串列表，这些字符串如果出现在生成的文本中，将会停止生成过程。
run_manager: 一个可选的回调管理器，用于跟踪和报告生成过程中的状态。
**kwargs: 其他可变的关键字参数，这些参数可能会被模型使用。

其他常用方法和属性

_llm_type 属性: 返回一个字符串标识你的语言模型的类型。
_identifying_params 属性: 返回一个字典，其中包含识别该模型实例的重要参数。
_check_validity_of_input 方法: 用于检查输入的

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

pumpkin84514

关注关注

16
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

基于Langchain封装自定义语言模型类，该类继承from langchain.llms.base import LLM，可直接用于Agent的ReAct。

扶着老奶奶闯红灯

01-14

196

当我们训练好自己的语言模型后，我们希望可以把它封装成类似 from langchain.llms import OpenAI 这样的类，在langchain中灵活操作。下面是我对MiniCPM模型的封装代码，希望对大家有帮助。

使用LangChain创建自定义聊天模型的完整指南

afTFODguAKBF的博客

11-19

483

要使用LangChain，首先需要确保你的开发环境中已安装该包。在LangChain中创建自定义聊天模型需要继承ChatModel通过LangChain创建自定义聊天模型不仅可以帮助您快速构建符合特定需求的应用程序，还能提高对话的准确性和灵活性。建议查看LangChain官方文档获取更多关于高级功能的信息和示例。

参与评论您还未登录，请先登录后发表或查看评论

手把手教你在 LangChain 中创建自定义大语言模型类

最新发布

佑瞻的博客

06-18

389

使用自研模型：团队训练了专属业务场景的模型，需要接入 LangChain 框架集成第三方 API：框架尚未支持的模型服务（如国内大模型 API）定制化功能：需要在模型调用前后添加自定义处理逻辑性能优化：针对特定硬件或部署环境进行底层优化自动支持 LangChain 的 Runnable 接口开箱即用的异步调用能力原生支持流式输出和事件回调无缝集成 LangSmith 等生态工具自定义 LLM 类需要实现两个基础方法，这是与 LangChain 生态交互的基础：python。

langchain 自定义模型使用

木下瞳的博客

05-13

2099

在公司有大模型可以通过 api 方式调用，想使用 langchain 框架调用，langchina 已经封装好大部分模型了，但自己公司的模型不支持，想使用，相当于自定义模型。generations_text：自定义方法，也就是调用自己公司api逻辑的代码，可以这样理解，这里我是演示，调用通义的代码是从官网扣下来的。由于这里是演示，所以假如我公司的模型的通义，langchain又不支持，我需要自定义来在langchian中使用。官方文档说，_generate， _llm_type 两个方法是必须的。

用通俗易懂的方式讲解大模型：使用 LangChain 封装自定义的 LLM，太棒了

2301_78285120的博客

12-30

5719

def _call(self,) -> str:首先我们需要创建一个类继承自LLM，然后实现_call方法方法的最主要的参数是提示词prompt，这个参数就是上面接口中的messages参数中的用户内容在_call方法中，我们构造 API 接口所需参数，包括 headers 和 data调用 API 接口，获取到返回结果，最后返回choices中message的内容_call方法的实现逻辑就是接收用户的输入，然后将其传递给 LLM，然后获取到 LLM 的输出，最后再返回结果给用户。

探索 LangChain 的自定义语言模型：创建和集成指南

afTFODguAKBF的博客

10-14

272

通过实现标准 LLM 接口，你可以轻松地集成自定义模型，并充分利用 LangChain 提供的异步支持和流式输出等功能。LangChain 官方文档Python 异步编程指南。

LangChain大模型应用落地实践（二）：使用LLMs模块接入自定义大模型，以ChatGLM为例

05-09

8748

angChain版本：0.0.147；(没想到第二更LangChain已经更新到147了）

使用LangChain创建自定义聊天模型：高级指南

nseejrukjhad的博客

11-26

319

通过本文，您已经学习了如何使用LangChain创建自定义的聊天模型类。LangChain官方文档LangChain GitHub 代码库。

【langchain】快速封装替换自定义LLM（基于自定义API或本地模型）

HYY的博客

04-30

8688

本文旨在展示如何利用langchain快速封装自定义LLM，从而突破现有环境下对OpenAI API Key的依赖。通过langchain的LLM类或现有项目的类继承，再修改特定的回调方法即可实现更加个性化和灵活的LLM应用，推动项目快速进展。

如何创建自定义聊天模型类：LangChain的深度指南

bhawfgrcbtwny的博客

09-26

464

通过本指南，您已学会如何构建自定义聊天模型。接下来，您可以探索其他关于聊天模型的指南，例如如何让模型返回结构化输出或如何跟踪聊天模型的token使用。

使用 LangChain 框架进行大模型应用开发

xxue345678的博客

11-16

838

❝LangChain 是一个用于构建基于语言模型的应用程序的框架。它旨在简化与大型语言模型（如 ChatGPT、LLaMA 等）的交互，并提供一系列工具和组件来帮助开发者快速构建复杂的应用。LangChain 的设计目标是提高开发效率，使得开发者可以更专注于应用逻辑，而不是底层的技术细节。❞：基础抽象和 `表达式语言。：第三方集成。：构成应用认知架构的链、代理和检索策略。LangGraph：通过将步骤建模为图中的边和节点，构建强大且有状态的多参与者 LLM 应用。与LangChain。

LLM大语言模型（九）：LangChain封装自定义的LLM

hugo_lei的博客

04-06

1898

想基于ChatGLM3-6B用LangChain做LLM应用，需要先了解下LangChain中对LLM的封装。本文以一个hello world的封装来示例。

在langchain中使用自定义example selector

程序那些事

08-08

1252

在之前的文章中，我们提到了可以在跟大模型交互的时候，给大模型提供一些具体的例子内容，方便大模型从这些内容中获取想要的答案。这种方便的机制在langchain中叫做FewShotPromptTemplate。如果例子内容少的话，其实无所谓，我们可以把所有的例子都发送给大语言模型进行处理。但是如果例子太多的话，每次都发送如此多的内容，会让我们的钱包承受不住。毕竟那些第三方的大语言模型是按token收费的。怎么办呢？能不能找到一个经济又有效的方法来完成我们的工作呢？

大模型 LangChain入门开发教程（一）：Model I/O

DEVELOPERAA的博客

09-14

1357

大模型 LangChain入门开发教程（一）：Model I/O

07LangChain实战课 - LLM模块使用与自定义模型调用

Y2483490891的博客

11-06

992

本节课聚焦于LangChain中的LLM（Large Language Model）模块，探讨如何使用不同的大语言模型，包括开源模型和自定义模型。自定义LLM类：继承自LangChain的LLM基类，实现_call方法进行模型调用。代码示例本节课介绍了大模型的训练、微调和量化，以及如何在LangChain中使用不同的模型。强调了PyTorch、HuggingFace和LangChain在AI模型开发中的重要性。OpenAI的API便捷性。

langchain加载本地中文模型的4种方法

qq_29837229的博客

04-01

1万+

langchain如何加载本地中文模型

大模型从入门到应用——LangChain：模型（Models）-[聊天模型（Chat Models）：基础知识]

热门推荐

冯·诺依曼

07-25

1万+

聊天模型是语言模型的一种变体。虽然聊天模型在内部使用语言模型，但它们公开的接口略有不同。它们不是提供一个“输入文本，输出文本”的API，而是提供一个以“聊天消息”作为输入和输出的接口。聊天模型的API还比较新，因此我们仍在确定正确的抽象层次。通过向聊天模型传递一个或多个消息，可以获取聊天完成的结果。响应将是一个消息。LangChain目前支持的消息类型有AIMessage和，其中ChatMessage接受一个任意的角色参数。大多数情况下，我们只需要处理AIMessage和。

【LangChain】不同的调用方式(Different call methods)

山鬼谣的专栏

07-03

2173

本笔记：讲述Chain的不同调用方式。所有从Chain继承的类中都提供了几种运行链逻辑的方法。最直接的方法是使用__call__；__call__这个是python版中的方法已经实现了。要调用Chain的方法。先构造llm_chain执行，即可。默认情况下，输入和输出都会打印出来"adjective" : "corny" }) # 结果 {' }单个输出就使用run方法。

langchain4j 自定义模型 function call

03-08

### LangChain4J 中实现自定义模型功能调用在LangChain4J框架下，为了实现自定义模型的功能调用，通常会通过创建特定的`ToolSpecification`来封装所需调用的方法及其参数。此过程涉及定义工具名称、描述以及各个参数的信息。对于自定义模型而言，假设有一个名为`CustomModelPredictor`的服务类，该服务负责接收输入数据并返回预测结果。下面展示了一个具体的例子，说明如何构建这样的工具规格： ```java // 定义用于指定参数类型的辅助方法 private static ParameterType type(String typeName){ switch (typeName.toLowerCase()){ case "string": return ParameterType.STRING; case "integer": return ParameterType.INTEGER; default: throw new IllegalArgumentException("Unsupported parameter type"); } } // 构建自定义模型调用的工具规格 ToolSpecification customModelSpec = ToolSpecification.builder() .name("custom_model_predict") // 工具名称 .description("使用自定义训练的大规模语言模型进行推理") // 描述 .addParameter( "input_text", type("string"), "待处理的文本字符串" ) // 添加参数 .build(); ``` 一旦完成了上述配置工作，则可以在应用程序逻辑中利用这个`ToolSpecification`对象来进行实际的功能调用操作。值得注意的是，在真实场景里还需要考虑异常处理机制和服务端点的安全认证等问题[^3]。此外，当涉及到更复杂的交互流程时，可能还会引入代理(Agent)的概念，它能够协调多个不同类型的工具之间的协作关系，从而更好地支持业务需求。不过这部分内容超出了当前讨论范围内的简单示例。

如何用Langchain封装自定义语言模型

继承 LLM 类

实现 _call 方法

其他常用方法和属性

继承 `LLM` 类

实现 `_call` 方法