【李宏毅机器学习2025春】笔记——2.AI Agent

原创 已于 2025-09-05 13:31:00 修改 · 787 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

于 2025-09-04 13:44:56 首次发布

02 AI Agent

目录

  • 1 . AI Agent 基本原理
    • 1.1 AI Agent特性
    • 1.2 如何打造
      • 1.2.1 强化学习RL（Reinforcement Learning）
      • 1.2.2 大语言模型LLM（Large Language Model）
  • 2 . AI Agent关键能力剖析
    • 2.1 AI如何根据经验调整行为
    • 2.2 AI如何使用工具
      • 2.2.1 语言模型常用工具
      • 2.2.2 使用工具过程
      • 2.2.3 常见问题
    • 2.3 AI能不能做计划
      • 2.3.1 做计划流程
      • 2.3.2 如何强化AI Agent的规划能力

1. AI Agent 基本原理

1.1 AI Agent特性

  • 以往使用AI是通过人类下达明确指令，一个口令使得AI完成一个动作. 而AI Agent是人类给予其一定目标或研究某项问题，其自行进行假设、实验、分析等过程
    在这里插入图片描述

  • 基本流程图：在给定目标（Goal）后，AI Agent会对周围环境进行观察（Observation）后采取行动（Action），而行动又会改变环境，使得机器会根据改变的环境采取新的行动，如此循环往复
    在这里插入图片描述

1.2 如何打造
1.2.1 强化学习RL（Reinforcement Learning）

过去往往采用RL演算法打造AI Agent，通过Reward奖励机制来衡量goal，所训练的AI Agent就会Learn to Maximize Reward. 但局限是需要每一个任务都用RL训练模型

1.2.2 大语言模型LLM（Large Language Model）

  • 将goal和observation转化为文字描述（option）传递给模型，同时也以文字形式产生action再转译成对应行动
    在这里插入图片描述

  • 相较于传统的agent，LLM不需要引入reward，可以使agent更容易按照环境的状态和回馈等调整自身行为，更加灵活.
    在这里插入图片描述

  • 且LLM能改变以往的回合制互动，实现更加真实的即时互动（即action1未执行完时，observation就已改变，能迅速转变为action2）
    在这里插入图片描述

2 AI Agent关键能力剖析

2.1 AI如何根据经验调整行为

  • 可以把经验存储起来，让模型每次行动都根据过往经验来调整行为。
    但局限是，当执行次数变大时，由于每次行动都需考虑之前经验，可能导致算力不够
    在这里插入图片描述

  • 解决方案：将经验存入记忆模块（Menmory），引入read模组（检索系统），write模组（筛选值得记忆内容）和reflection模组（对记忆整合，也可制作Knowledge Graph）.如此，在遇到observation时只从记忆模块中选择与问题相关的经验
    在这里插入图片描述

2.2 AI如何使用工具
2.2.1 语言模型常用工具
  • Search Engine
  • 程序
  • Other AI（Different Capabilities）

工具可以看作是function，使用工具就是在调用这些function（Function Call）

2.2.2 使用工具过程

  • 使用工具需提供Prompt，prompt分为System Prompt和User Prompt
    system prompt一般不变，是放在模型最前面，一般是在开发过程中的prompt，给模型提供如何使用工具和使用特定工具的方法.而user prompt输入会改变，一般是使用者提供的prompt
    在这里插入图片描述

  • 但输出毕竟只是一段文字，需agent开发者设定特定流程，让机器按步骤进行，并设定排除掉不需呈现的内容、生成需呈现内容
    在这里插入图片描述

  • ai有时会调用内部api，使用其他ai作为工具来打出“组合技”
    在这里插入图片描述

2.2.3 常见问题

Q:工具过多怎么办？
A:可以同样构建一个memory作为工具包，根据不同情况选定特定工具（模型甚至可以自己打造工具到工具包内）
在这里插入图片描述

Q：语言模型有没有自己的判断能力？
A：有，语言模型在使用工具或RAG时，有自己的internal knowledge.它从工具获得external knowledge，二者差距越大，模型就越不相信工具提供的外部知识。且同一个问题，模型更倾向于相信ai同类提供的答案而不是人类提供的
Q：如果工具可靠，ai一定不会出错吗？
A：不是，就算找到所有资料都是对的，不保证答案就是对的（往年ai在出现重名问题时，会把两人混淆成同一个人，目前该问题已解决）

2.3 AI能不能做计划
2.3.1 做计划流程
  • ai先通过给定的obs1创造出一个plan，若顺利则一路执行下去.但在obs1适用的plan，在下一时刻obs2不一定适用.理想的做法是让ai在每个obs都创造出plan2加入到这个sequence中
    在这里插入图片描述
2.3.2 如何强化AI Agent的规划能力

  • 可以通过爆搜所有路径来找出最优解，但是很明显的缺点是，路径一旦长起来，所需要算力以指数级增长，且得到的结果也不一定是切实际的做法
    在这里插入图片描述

  • 基于以上方法的优化是模型给每一步行动赋予可能实现的概率，把一些低于threshold方向给舍弃（类似于剪枝），这种方法叫作Tree Search.其缺点是有些动作（如订餐）无法回溯
    在这里插入图片描述

  • 为了解决无法回溯的问题，则需要World Model来模拟环境可能会有的变化，可以让ai自己扮演World Model来找出所有可能的情况和最优解.
    在这里插入图片描述

李宏毅2025《机器学习》第一讲-生成式AI：技术突破和未来发展
木鱼时刻的专栏
06-18 1765
本文基于台湾大学李宏毅教授的“一堂课搞懂生成式人工智慧的技术突破与未来发展”课程内容，系统性地梳理了生成式AI的核心概念、技术原理、发展演进以及未来趋势。文章从AI的“行为”入手，通过生动的实例展示了其强大的生成与推理能力；进而深入剖析其底层运作机制，阐释了“万物皆为令牌（Token）”、自回归生成、Transformer架构等核心原理；接着，文章追溯了通用AI模型从“专才”到“通才”的演进历程；最后，探讨了如何通过微调（Fine-tuning）、模型编辑（Model Editing）等技术赋予AI新的能力
【学习笔记】李宏毅2021春机器学习课程第6.2节：生成式对抗网络 GAN（二）
Harryline的博客
07-24 518
文章目录1 No pain，no GAN2 用 GAN 来生成一个 Sequence3 怎么评估一个 Generator 的好坏3.1 多样性问题 - Mode Collapse3.2 多样性问题 - Mode Dropping3.3 我们不想要一个没有创造力的 GAN.4 有条件的生成 1 No pain，no GAN GAN是以很难 Train 起来而闻名的，那为什么 GAN 很难被 Train 起来？ 它有一个本质上困难的地方： Discriminator 做的事情是要分辨真的图片跟产生出来的图片
【李宏毅机器学习2025春】笔记——1.一堂课搞懂生成式AI
RichardSchoolbag的博客
09-04 761
本文系统介绍了生成式人工智能的技术原理与发展趋势。课程从生成式AI的行为特征切入，对比了传统AI与当前ChatGPT等模型在"思考"过程上的差异，并探讨了AI Agent这一未来发展方向。核心部分详细解析了生成式AI的运作机制，包括token化处理、概率生成策略、深度学习网络架构（特别是Transformer模型）等关键技术。同时阐述了模型的训练方法、参数优化过程以及分类问题的处理方式。最后讨论了AI能力扩展的两种途径：基于提示的即时学习和参数微调的终身学习，并指出模型编辑等技术的潜在价
李宏毅《机器学习2025》笔记 第二讲 —— AI Agent
m0_67168421的博客
05-25 1102
AI Agent有很多定义，本堂课指的是人类给出目标后可以自己想办法完成该目标的人工智能。
李宏毅《机器学习2025》笔记 —— 更新中
m0_67168421的博客
05-23 574
第一讲 —— 一堂課搞懂生成式AI（无笔记）第三讲 —— 剖析大型語言模型內部運作邏輯。第五讲 —— 大型語言模型的神奇能力哪裡來。第七讲 —— AI 推理能力哪裡來。第二讲 —— AI Agent。第六讲 —— 如何正確微調模型。第四讲 —— Mamba。第八讲 —— 模型編輯1。第九讲 —— 模型編輯2。第十讲 —— 模型編輯3。第十一讲 —— 模型融合。第十二讲 —— 生成策略。
李宏毅《机器学习2025》笔记 第四讲 —— Mamba
m0_67168421的博客
07-02 603
RNN、Self-attention和Linear Attention都是用于seq2seq的技术，输入一串向量，输出另一串融合了所有输入向量的信息的向量。Transformer的出现使得Self-attention取代了RNN，Mamba这一类模型的出现又使得Linear Attention成为一个研究热点。而Linear Attention可以看作特殊的RNN或Self-attention.注：本文中的Self-attention都指Masked Self-attention.
一文搞懂AI Agent原理——李宏毅2025第二讲笔记
qq_41697157的博客
08-09 960
AIAgent是指能自主完成人类设定目标的智能体，其核心能力包括：1）基于记忆的经验调整，通过读写模块实现记忆管理；2）工具使用能力，可调用搜索引擎、编程接口等多类工具；3）动态计划能力，能根据环境变化调整行动计划。当前AIAgent已从专用系统（如AlphaGo）发展为通用型智能体，支持语音交互等更自然的交互方式，且无需专门训练模型即可运作。未来发展趋势包括更复杂的记忆机制、工具自主选择及动态计划优化能力。
2020李宏毅学习笔记——1.概论
weixin_44554337的博客
06-03 686
一：学习内容分布： 一、机器学习的本质就是自动寻找函式 例如 二、寻找什么样子的函数式 1.regression（回归）： The output of the function is a scalar.:函数的输出是一个数值 例如： 2.classfication（分类）： 1）Binary Classification(二元分类): 2）multi-class Classification(多层次分类): generation（生成)： 产生有结构的复杂东西 (例如：文句、图片) 三、怎么
李宏毅机器学习课程笔记
godblesstao的博客
02-28 1840
李宏毅机器学习课程笔记，持续更新~1. Convolutional Neural Network2. Recurrent Neural Network3. Graph Neural Network4. Generative Adversarial Network5. Auto-encoder6. Transformer7. ELMO, BERT, GPT1. Transfer Learning2. Anomaly Detection3. Attack Machine Learning Models4. Ex
李宏毅机器学习笔记【未完】
AbyssssssssssS的博客
05-17 2038
李宏毅2021/2022春机器学习课程 【《2021机器学习-李宏毅》学习笔记】 一、机器学习 1.机器学习基本概念 找一个函数。 深度学习：使用类神经网络的函数。 可以有各式各样的输入：向量，矩阵（如图像），序列（如语音，文本）；也可以有各式各样的输出：数值（regression），类别（classification），文本图像… 函数类别 Regression（回归）：输出是一个数值（scalar） Classification（分类）：给定选项/类别（classes），输出正确的 Structur
李宏毅《机器学习2022》笔记
weixin_44298961的博客
10-12 2193
李宏毅《机器学习2022spring》笔记
39. 深度强化学习浅析（李宏毅机器学习笔记
CHEN_BR/BLOG
10-05 516
39. 深度强化学习浅析（李宏毅机器学习笔记深度强化学习浅析强化学习的应用场景监督 v.s. 强化应用举例学习一个chat-bot交互搜索更多应用例子:玩视频游戏强化学习的难点强化学习的方法Policy-based 方法Value-based 方法CriticActor-Critic 深度强化学习浅析 2015年2月的时候，google在nature上发了一篇用reinforcement lea...
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 6339
self-attention，transformer及变形
[机器学习入门] 李宏毅机器学习笔记-37 (Deep Reinforcement Learning;深度增强学习入门)
Holeung blog
08-04 3912
[机器学习入门] 李宏毅机器学习笔记-37(Deep Reinforcement Learning;深度增强学习入门) PDF VIDEODeep Reinforcement Learning 深度增强学习是一套很复杂的方法，在这里只了解皮毛。 Scenario of Reinforcement Learning 有个傻傻的机器人小白(Agent)去闯荡世界(Environment)，
2025年09月03日最热门的开源项目(Github)
最新发布
09-04 255
模型常见训练超参数介绍(1)
my java博客园
09-02 1416
【摘要】本文总结了BERT/RoBERTa模型调参的关键策略：1）训练轮数需平衡过拟合与欠拟合，NER任务通常10+轮，分类任务3-5轮，推荐使用早停机制；2）学习率建议2e-5~5e-5，过高易震荡，过低收敛慢；3）batch size需适配显存，大batch需配合高学习率；4）warmup steps设为总步数5-20%，稳定训练初期；5）weight decay建议0.01-0.1，防止过拟合。调参时应监控训练/验证损失曲线，结合任务复杂度动态调整参数组合。（149字）
机器学习基础-day03-机器学习中的线性回归
XZSSWJS的博客
09-04 555
初学小小白，个人笔记使用，仅供参考
机器学习从入门到精通 - 强化学习初探：Q-Learning到Deep Q-Network实战
THMAIL的博客
09-04 987
本文介绍了强化学习从Q-Learning到Deep Q-Network(DQN)的进阶过程。首先阐述了强化学习的基本框架，包括Agent、Environment、State、Action和Reward的交互关系，以及马尔可夫决策过程(MDP)的核心假设。重点讲解了Q-Learning算法，详细推导了其基于贝尔曼方程的时间差分更新公式，并说明了ε-greedy策略在探索与利用之间的平衡作用。随后指出Q-Table在处理高维状态空间时的局限性，进而引入DQN解决方案。DQN采用神经网络作为函数逼近器，并依靠经验
SpringAI Alibaba Graph 流式对话
weixin_60523038的博客
09-03 380
SrpingAi Alibaba Graph实现流式对话，工作流，Graph工作流，代码工作流，流式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值