高效调试LLM应用：揭开大语言模型的开发秘密

最新推荐文章于 2025-08-25 12:43:30 发布

aehrutktrjk

最新推荐文章于 2025-08-25 12:43:30 发布

阅读量2.1k

点赞数 10

CC 4.0 BY-SA版权

文章标签：语言模型前端服务器 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/144383349

引言

在构建基于大语言模型（LLM）的应用程序时，调试是不可避免的一环。无论是模型调用失败、输出格式错误，还是嵌套调用导致的意外输出，调试都是确保应用程序正常运行的关键步骤。本文旨在介绍调试LLM应用的三种主要方法：使用详尽模式、调试模式和LangSmith跟踪机制。

主要内容

1. 使用详尽模式（Verbose Mode）

详尽模式通过添加打印语句帮助开发者观察链中"重要"事件的发生。这种方法不需要额外的工具支持，可以直接在本地环境中运行，但不能保存事件记录。

2. 使用调试模式（Debug Mode）

调试模式会记录链中所有事件的日志。与详尽模式相比，它提供了更详细的数据输出，包括每一个微小的输入和输出，适合对复杂链条进行深度检查。不过，它同样不能持久化记录。

3. LangSmith跟踪

LangSmith提供了可视化界面来查看所有事件的详细流程，帮助开发者在视图中更直观地理解链条运行情况，这对于复杂的LLM应用至关重要。开发者需要设置环境变量以启用LangSmith跟踪功能。

export LANGCHAIN_TRACING_V2="true"
export LANGCHAIN_API_KEY="..."

如果在笔记本环境中，可以通过以下代码进行设置：

import getpass
import os

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

代码示例

下面是一个使用LangSmith进行调试的示例：

from langchain.agents import AgentExecutor, create_tool_calling_agent
from langchain_community.tools.tavily_search import TavilySearchResults
from langchain_core.prompts import ChatPromptTemplate

tools = [TavilySearchResults(max_results=1)]
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a helpful assistant."),
        ("placeholder", "{chat_history}"),
        ("human", "{input}"),
        ("placeholder", "{agent_scratchpad}"),
    ]
)

# 构建工具代理
agent = create_tool_calling_agent(llm, tools, prompt)

# 创建代理执行器并传入代理和工具
agent_executor = AgentExecutor(agent=agent, tools=tools)
agent_executor.invoke(
    {"input": "Who directed the 2023 film Oppenheimer and what is their age in days?"}
)