langchain-runnable底层原理

原创 已于 2024-07-13 08:43:11 修改 · 1.2k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#langchain #自然语言处理 #人工智能

于 2024-07-13 08:40:49 首次发布

文章目录

langchain

langchain生态介绍

在这里插入图片描述

langchain是一个用于开发以大模型作为底层能力支持的应用的框架，你如果要开发一个基于大模型的的应用，那么选择langchain会方便很多。 因为它为大模型应用产品提供了全生命周期管理方案。

  1. 应用的全生命周期管理
    2. 应用开发：用langchain提供的组件进行项目开发，或者用langGraph提供有状态的应用开发
    3. 项目监控：用langsmith提供实时的调试、监控和评估，为项目的迭代提供依据
    4. 项目部署：使用LangServe或者langchain cloud部署项目，对外暴露REST API风格接口

上面所讲的langchain其实是一整个生态，包括了langchain模块、langsmith模块、langGraph模块、LangServe模块，以及langchain cloud，每个模块都提供了不一样的能力
而langchain是我们从无到有开发产品时要用到的开发框架，那下面就具体来说langchain模块

langchain

langchain是提供大模型应用开发的开发框架，其主要有两个大块组成

  1. langchain-core : langchain底层的抽象框架，以及为lagnchain自家标榜的LCEL表达语言提供支持
  2. langchian-community：第三方的集成，其中诸如openai、google、阿里等等第三方公司的能力的集成，这个能力包括大模型能力、搜索能力、embedding能力等等，不局限于大模型的能力
    还有一个需要注意的是，有些第三方的支持会被独立的抽取出来，提供更轻量化的支持，比如langchain-openai，langchain-anthropic

本质上来说，langchian-community只是继承了langchain-core，实现了底层定义的抽象，所以langchian的核心的核心都在langchain-core，
langchain-core既为第三方的扩展提供了标准，也为langchain自身设计奠定了基调，那langchain的设计基调是什么呢？是LCEL

LCEL

LCEL是langchain所标榜的一个设计原则，它以一种以声明式的形式将langchain的各个组件链接起来，这里讲一下声明式，声明式意思就是说你只用关心输入和输出
关于模块本身的实现细节，并不需要你去关心，举个例子哈，比如在langchain中的llm，它有一个方法是invoke，它接受一个字符串，返回一个字符串，用户在使用的过程中
根本不需要知道太多的细节，只需要知道invoke是输入一个字符串然后传给llm得到一个字符串就可以了。同时这样还有一个好处，在langchain中设计了很多的组件，
只要一个组件的输出格式满足另一个组件的输入，就可以把它串行起来组成一个runnableSequence。而这些关于LCEL的底层支持都来自于runnable，runnable是一个类，几乎在langchain中的所有组件都继承了这个类。

runnable

runnable是langchain的一基类，几乎所有的核心组件都是runnable的子类，包括聊天模型、LLM、输出解析器、检索器、提示模板等，甚至你组成的chain也是
runnable的子类：RunnableSequence或者是RunnableParalle，总之，几乎所有的组件都是runnable的子类。

而runnable本身定义了一些标准的接口，用于子类去实现，其中比较重要的几个标准接口包括
invoke：提供单个输入，得到单个输出
batch：提供多个输入，得到多个输出
stream：提供单个输入，得到流式输出

ainvoke:invoke的异步
abatch：batch的异步
astream：stream的异步

下面稍微丢一小部分，底层的runnable的框架图，这些都是lcel的基石
在这里插入图片描述

runnable基础能力介绍

invoke

作用： 传递单个输入得到单个输出

步骤：

  1. 子类去实现
batch

作用： 传递多个输入得到多个输出

步骤：

  1. 校验配置文件
    2. 如果没有传入配置文件，则初始化最小4个参数，

            empty = RunnableConfig(
        tags=[],
        metadata={},
        callbacks=None,
        recursion_limit=25,)
    1. 如果输入是多个，则配置文件要copy到同样长度，得到一个配置文件列表
    2. 配置文集列表中只有第一个要设置run_id,其他的需要删除，便于trace追踪

  2. 创建一个线程池，并行调用invoke

stream

作用：

  1. 流式输出

步骤：

  1. yield输出invoke结果
ainvoke

作用： 传递单个单个输入，异步的得到单个输出

步骤：

  1. 创建一个事件循环；
  2. 使用一个默认的执行器，通常就是一个线程池，来执行同步的invoke方法
  3. 将执行器交给事件循环，实现异步功能
    注意：如果子类不重写，其实本质只要你的runnable支持invoke，就会支持ainvoke
abatch

作用： 传递多个输入,异步的得到多个输出

步骤：

  1. 校验配置文件
    2. 如果没有传入配置文件，则初始化最小4个参数，
    empty = RunnableConfig(
    tags=[],
    metadata={},
    callbacks=None,
    recursion_limit=25,)
    3. 如果输入是多个，则配置文件要copy到同样长度，得到一个配置文件列表
    4. 配置文集列表中只有第一个要设置run_id,其他的需要删除，便于trace追踪

  2. 创建一个事件循环，并行根据每一个输入调用ainvoke,(有最大输入调用次数限制：max_concurrency)

astream

作用：

  1. 异步流式输出

步骤：

  1. yield输出ainvoke结果
or、ror

作用： 重写|符号，将两个runnablelike拼接成runablesequence

步骤：

  1. 检查输入的对象other是否是runnablelike
    2. runnablelike包括
    RunnableLike = Union[
                      Runnable[Input, Output],
                      Callable[[Input], Output],
                      Callable[[Input], Awaitable[Output]],
                      Callable[[Iterator[Input]], Iterator[Output]],
                      Callable[[AsyncIterator[Input]], AsyncIterator[Output]],
                      Mapping[str, Any],
                  ]
    1. 如果输入对象是一个runnable，则直接返回
    2. 如果输入对象是一个异步生成器或者是一个生成器，则将输入转为RunnableGenerator返回
    3. 如果输入对象是一个可调用对象，则将输入转为一个RunnableLamabda
    4. 如果输入是一个字典，则将输入转为一个RunnableParallel
  2. 将原始的runnable和转化后的输入拼接成一个新的runnableSequence
pipe

作用：和__or__完全相同

get_name

作用：获取runnable的名字

步骤：

  1. name获取：
    1. 如果传入了name，则就用传入的；
    2. 如果没有传入，就用runnable初始化时复制的name
    3. 如果都没有，就用runnable的类名作为name
  2. name相关属性返回：
    1. 如果传入suffix：则返回结果为suffix_name
    2. 如果没有传入name，则返回name
InputType (属性)

作用：返回Runnable的input类型

步骤：

  1. 直接获取此类的参数，第一个参数为输入参数，返回出入参数的类型
OutputType (属性)

作用：返回Runnable的output类型

步骤：

  1. 直接获取此类的返回参数
input_schema (属性)

作用：获取输入的schema

步骤：

  1. 获取输入schema：
    1. 如果输入类型是一个类，且是继承了BaseModel，则直接返回输入类型
    2. 否则，根据输入类型创建一个pydantic的数据模型
output_schema (属性)

作用：获取输出schema

步骤：

  1. 获取输出schema：
    1. 如果输出类型是一个类，且是继承了BaseModel，则直接返回输入数据类型
    2. 否则，根据输入类型创建一个pydantic的数据模型

注意：原则上说，子类只要重写了invoke，其他的诸如ainvoke，batch，abatch等都可以使用，这是子类的最小化实现方式，特殊情况下其他的方法也会被一定程度的重写

附上筋斗云，会有完整教程和代码：https://github.com/traveler-leon/langchain-learning.git

LangGraph教程1：LangGraph快速入门与底层原理剖析
Cachel Wood的博客
07-19 38
摘要： LangGraph是一个基于图的框架，用于构建具有大型语言模型（LLM）的复杂代理工作流，支持循环、状态持久化和多节点协作。核心功能包括循环分支控制、状态管理、人机交互和与LangChain生态的无缝集成。其通过定义节点（计算步骤）和边（流程逻辑）实现动态任务处理，例如代理调用工具并基于结果迭代决策。示例展示了如何创建天气查询代理：初始化模型和工具后，构建状态图并编译为可执行流程，利用记忆存储（MemorySaver）实现对话上下文的持久化。LangGraph通过精细控制流和内置持久性，显著提升了代
Chainlit集成Langchain并使用通义千问实现和数据库交互的网页对话应用增强扩展（text2sql）
洛阳泰山的博客
09-12 2005
我在上一篇文章中利用langchain中创建一个数据库代理智能体，但是实测中发现，使用在对话中，响应速度太慢了，数据的表越多，对话响应就越慢，这次本篇文章langchain中和数据库对话交互的另两种方式，和。
深入解析 LangChain 框架：核心原理详解与实战指南
hello.reader
10-07 4461
LangChain 是一个开源的框架，旨在帮助开发者构建以大型语言模型（LLM）为核心的应用程序。通过提供一系列模块和工具，LangChain 简化了语言模型与外部数据源、计算环境以及其他工具的集成过程，使得构建复杂的自然语言处理应用变得更加高效和便捷。本博客旨在深入解析 LangChain 框架的核心原理和设计思想，帮助读者全面了解其内部机制和实际应用方法。我们将从整体架构出发，逐步探讨各个核心组件的功能和工作原理，包括链式调用、记忆系统、提示模板、代理与工具的协同工作，以及与大型语言模型的集成方式。
langchain的 Runnable接口
一起来研究langchain和langchain-chatchat
06-12 1240
langchain的Runnable接口是用于定义一个可以运行的组件或单元的抽象接口。这种接口通常用于将各种处理逻辑模块化，使其能够在一个链条中串联运行。langchain作为一个库，旨在帮助构建和管理语言模型的链条处理，因此Runnable接口是其核心组成部分之一。Runnable接口允许你定义一个可运行的对象，该对象可以是任何执行某种操作的逻辑单元。这个接口的主要目的是标准化这些逻辑单元，使它们能够在更大的系统中无缝协作。"""运行该组件的主要方法"""pass"""配置组件参数"""
3分钟让你知道什么是LangChain，以及LangChain的部署配置全流程
最新发布
qingkahui24689的博客
06-26 1181
LangChain是一个简化大型语言模型(LLM)应用开发的框架，提供模块化组件支持从开发到部署的全流程。主要特点包括：支持检索增强生成(RAG)技术解决LLM的信息偏差、知识滞后等问题；提供链(Chain)和代理(Agent)机制构建复杂任务流程；包含模型I/O、数据连接、记忆等核心组件。文章还介绍了LangChain-CLI工具的配置步骤，以及LCEL(LangChain Expression Language)的设计目标和应用示例。通过LangChain，开发者可以更高效地构建和部署基于LLM的应用程
langchain学习笔记——runnable接口
everyglow的博客
09-02 679
invoke：将单个输入转换为输出batch：将多个输入转换为输出stream：流式输出。
langchain runnable
xnuscd的博客
11-24 1024
invoke()invoke()方法是LangChain中一个强大且简洁的同步调用接口，适用于各种需要与链交互的场景。通过invoke()，开发者可以轻松地将输入传递给链，并获取生成的输出，无需关心链内部的具体实现细节。这使得构建复杂的自然语言处理应用变得更加高效和直观。希望通过以上详细讲解，您能够更好地理解和使用LangChain中的invoke()方法，构建出强大而灵活的语言模型应用！是 LangChain 中所有聊天模型的基类。
【LangChain】什么是 Runnable
彬彬侠的博客
05-03 1182
在 LangChain 中，Runnable 是一个核心概念，指的是可以被执行（“run”）的对象，通常用于构建和组合工作流。Runnable 是 LangChain Expression Language（LCEL）的基石，允许开发者通过声明式的方式将提示（Prompt）、语言模型（LLM）、解析器（Output Parser）等组件组合成链（Chain），并以统一的方式调用。以下基于 LangChain 0.3.x，详细解释 Runnable 的定义、作用、类型及使用场景，并提供代码示例。
LangChain详述（4）——LCEL
shao918516的博客
03-29 1123
LangChain使用简单，并拥有庞大的用户和贡献者社区，由LangChain实现的agents也具有一定代表性。但LangChain本身的知识结构较为庞杂，因此本章先讲述LangChain优势分析、学习资料、架构及LCEL，后续章节再介绍各个组件，为使用LangChain构建agent做铺垫。
如何在RAG应用中返回数据来源：基于Python和LangChain的详细指南
m0_57781768的博客
09-07 266
虽然方法已经很好地完成了我们的需求，但为了更深入理解LangChain的工作原理，我们也可以通过自定义的LCEL（LangChain Expression Language）实现相同的功能。在这个实现中，我们将逐步构建一个字典，将检索到的文档添加到context键中，再将问题和上下文一起传递给模型生成回答。# 格式化文档内容# 该链将接收字典并生成回答"input": lambda x: x["input"], # 用户输入的问题。
3、LangChain基础：LangChain 基础
Hugo的博客
04-26 582
即，逐个处理输入块，并产生相应的输出块。这种处理的复杂性可以有所不同，从简单的任务，如发出 LLM 生成的令牌，到更具挑战性的任务，如在整个 JSON 完成之前流式传输 JSON 结果的部分。如果这与您构建的内容无关，您也可以依赖于标准的命令式编程方法，通过在每个组件上调用invoke、batch或stream，将结果分配给变量，然后根据需要在下游使用它们。对于某些链，这意味着我们直接从 LLM 流式传输标记到流式输出解析器，您将以与 LLM 提供程序输出原始标记的速率相同的速度获得解析的增量输出块。
LangChain 自定义 Runnable 与动态配置全指南：从原理到闭环实践
佑瞻的博客
06-16 942
python运行# 1. 定义处理函数（带类型注解）"""清洗文本并统计字数"""# 2. 封装为Runnable（注册接口）# 3. 单例调用（输入输出闭环）print(f"单例结果: {result}") # 输出: {'cleaned_text': 'Hello world This is a test', 'word_count': 6}# 4. 批量处理（并行闭环）print(f"批量结果数: {len(batch_results)}") # 输出: 2python运行。
探索LangChain：深入了解Runnables
jaioyfpo的博客
10-03 371
通过本文，你已经掌握了如何检视LCEL中的Runnables链。接下来，可以继续学习其他关于Runnables的指南，或查看调试链的相关指南。
LangChain 核心原理与应用实践
hello.reader
10-10 1385
随着大语言模型（LLM）如 GPT-3 和 GPT-4 等的广泛应用，生成式AI在多个领域展示了其强大的能力。然而，要将这些大模型有效地应用到复杂的生产环境中，不仅需要处理模型本身的推理能力，还需要管理上下文、记忆、任务流程和多模态数据的交互。这就催生了对能够更好组织和管理大模型应用的框架需求。LangChain是一个为构建复杂大模型应用提供支持的框架，旨在帮助开发者有效管理大模型的提示工程记忆机制任务链管理和工具集成。
LangChain RunnableLambda的使用
我的博客
02-06 523
LangChain RunnableLambda的使用
大模型 LangChain 开发框架：Runable 与 LCEL 初探
qq1164014750
01-03 1210
Runnable 接口是 LangChain 众多组件以及 LangChain 表达语言构建的基础抽象。invoke 方法：该方法能够将单个输入转换为相应的输出，是实现基本功能的核心。例如，在一个简单的文本处理任务中，输入一段文本，通过 invoke 方法可以得到处理后的结果，如文本分类、摘要生成等。batched 方法：支持多个输入高效地转换为输出。这在处理批量数据时非常有用，能够显著提高处理效率。比如，同时对多篇文档进行关键词提取，使用 batched 方法可以一次性处理多个文档，减少处理时间。
LangChain 44 深入理解LangChain 表达式语言八 Runnable接口输入输出模式 LangChain Expression Language (LCEL)
AI架构师易筋
12-30 2431
为了尽可能地简化创建自定义链，我们实现了一个“Runnable”协议。Runnable协议适用于大多数组件。这是一个标准接口，可以轻松地定义自定义链并以标准方式调用它们。streaminvokebatchastreamainvokeabatch让我们来看看这些方法。为此，我们将创建一个超级简单的PromptTemplate + ChatModel链。
LangChain: Runnable的定义和使用
读万卷书 行万里路
07-31 3196
在LangChain中，Runnable是LangChain中用于定义一个可运行对象的抽象接口。它允许开发者定义任何执行某种操作的逻辑单元，并通过标准化的方法使其能够在更大的系统中无缝协作。
【LangChain编程：从入门到实践】Runnable对象接口探究
AI天才研究院
05-30 1040
【LangChain编程：从入门到实践】Runnable对象接口探究 作者：禅与计算机程序设计艺术 1.背景介绍 1.1 LangChain的兴起 随着人工智能技术的快速发展，特别是
langchain的runnable
03-22
### LangChain 中 Runnable 的概念与用法 LangChain 是一个专注于构建和管理语言模型工作流的框架，其中 `Runnable` 接口是一个核心组成部分。它被设计用来表示可以执行的任务或逻辑单元，并支持这些任务之间的灵活组合。 #### 1. **Runnable 接口概述** `Runnable` 接口是一种抽象机制，用于定义可以在链条中运行的组件或单元[^4]。它的主要目的是将复杂的处理逻辑分解为独立的小模块，从而实现更高的灵活性和可维护性。通过这种方式，开发者可以轻松地创建、测试以及重用各个功能块。 #### 2. **基本使用方法** 以下是关于如何在 LangChain 中使用 `Runnable` 的具体说明： - 首先需要导入必要的类并初始化多个 `Runnable` 对象。 - 这些对象随后可以通过某种方式连接起来形成一条完整的链路（即 Chain），以便按顺序依次调用它们的功能。 下面给出了一段简单的 Python 实现示例来展示这一过程： ```python from langchain import Runnable, Chain class MyRunnable1(Runnable): def run(self, input_data): return f"MyRunnable1 processed {input_data}" class MyRunnable2(Runnable): def run(self, input_data): return f"MyRunnable2 further handled {input_data}" class MyRunnable3(Runnable): def run(self, input_data): return f"MyRunnable3 finalized with {input_data}" # 初始化各阶段的具体实现 runnable1 = MyRunnable1() runnable2 = MyRunnable2() runnable3 = MyRunnable3() # 构建由上述三个部分组成的整体流程 chain = Chain(steps=[runnable1, runnable2, runnable3]) # 启动整个流水线作业 output = chain.run("原始输入字符串") print(output) # 输出最终结果 ``` 此脚本片段清楚地体现了从单个步骤到多级联接的操作模式转换[^1]^。 #### 3. **动态选择 Runnable 对象** 除了静态配置外，在某些场景下可能还需要依据实际条件实时调整所使用的处理器类型。为此，LangChain 提供了相应的工具允许 Agent 自主决定采用哪个具体的 `Runnable` 来应对当前请求[^3]^。 例如可以根据传入参数的内容特性自动匹配最合适的解析器；或者当面对未知情况时尝试多种备选方案直至找到有效解决方案为止——这些都是利用 Agents 动态选取合适 `Runnables` 的典型应用场景之一[^2]^。 综上所述，无论是固定不变还是随需应变的设计需求都可以借助 LangChain 的 `Runnable` 和相关扩展能力得到满足。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值