《reinforcement learning：an introduction》第六章《Temporal-Difference Learning》总结

最新推荐文章于 2025-04-29 21:31:18 发布
最新推荐文章于 2025-04-29 21:31:18 发布
阅读量1.8k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： （深度）增强学习 文章标签： 增强学习 sutton RL reinforcement learni an introduction
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmc2015/article/details/76096001

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。

对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。

因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。




注意：本章考虑model-free的prediction和control，仍然有两种方法，policy iteration和value iteration（evaluation阶段使用model-free方法，improvement阶段采用greedy方法）。这一节主要讲基于TD-Learning的value iteration方法。

在model-free的情况下，直接估算Q(S,A)更常见，因为即便估算出来了V(S)，没有model还是不知道如何选择action（如何生成policy）。




MC思想：sample one timestep，然后用 [即时reward+后续状态的bootstrap] 来估算expected return。




MC method： V(St+1) = V(St) +α[Gt-V(St)]  ==》use  one sample Gt estimate Expectation

TD(0) method：V (St+1) = V (St) + α[Rt+1 + γV(St+1) - V(St)] ==》useone sample Rt+1 + γV(St+1) estimate Expectation，且V(St+1)也是estimation。

TD-target = Rt+1 + γV(St+1) ；TD-error = Rt+1 + γV(St+1) - V(St)；MC error Gt - V(St)可以转换为TD-error的和：

最低0.47元/天 解锁文章

200万优质内容无限畅学
强化学习知识要点与编程实践（3）——不基于模型的预测
Echooo的博客
03-18 498
不基于模型的预测0. 前言1. 蒙特卡罗强化学习2. 时序差分强化学习2.1 MC法和TD法的区别2.2 MC法、TD法、DP法的区别3. n步时序差分学习4. TD(λ\lambdaλ)算法分析5. 编程实践 本文未经许可禁止转载，如需转载请联系笔者 0. 前言 在前一章: 动态规划寻找最优策略中，已经讲述了在已知状态转移概率时，如何使用 策略评估、策略迭代、价值迭代 的方法来求解价值函数，或寻找最优价值函数与最优策略。 本章的重点在于未知环境的状态转移概率，就是在一个状态下采取一个动作，并不知道自己可能
Reinforcement Learning: An Introduction 第二版
08-28
6. 深度强化学习(Deep Reinforcement Learning)：随着深度学习的发展，将神经网络应用于Q函数或策略函数，形成了深度Q网络(DQN)和策略梯度等方法，显著提高了智能体在复杂环境中的学习能力。 7. 探索与利用...
《reinforcement learning：an introduction》第五章《Monte Carlo Methods》总结
mmc2015的专栏
07-25 2414
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 注意：本章考虑model-free的prediction和control，仍然有两种方法，policy
策略梯度(policy gradient)直观理解
最新发布
Clam_dw的博客
04-29 364
policy gradient有不同的数学表达形式，但是最根本的直观理解，还是说找到一个策略，让这个策略在特定任务下生成的所有可能路径的期望回报最大。期望形式的表达可能还是有点抽象，但是我们具体化用加和符号来表达的话就容易理解了，比如我们一共有66条轨迹，每个轨迹对应一个总体回报Gi，每个轨迹都是概率发生的，那么66个轨迹就有66个概率，这个概率也就所策略生成该轨迹的概率，那么期望怎么算呢？所以策略梯度实际上是一个名词，策略的梯度，策略容易理解是学习一个policy，那么为什么需要梯度？
Chapter 6. Temporal-Difference Learning
nothing的博客
09-19 381
时序差分算法（TD）是强化学习中的核心和新颖的算法。 TD特点： (1).无需完整的环境模型； (2).bootstrap(判断一个状态的值要依赖其它状态的估计值)。 是 DP 和 MC 的结合。 policy evaluation: prediction problem. control problem: find an optimal policy. ###6.1 TD Predictio...
《Reinforcement Learning》 读书笔记 5：蒙特卡洛（Monte Carlo Methods）
qjf42的专栏
03-22 1215
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 问题 前面两章都假设我们已知MDP的分布p(s′,r|s,a)p(s′,r|s,a)p(s', r | s, a)（model），但有时这一点难以做到（第2章的多臂老虎机问题是一个特殊的例子），或者说这种Markov假设可能是不合理的，那么我们只能从真实/模拟环境中去获取这些知识 PS:...
6.时序差分学习Temporal-Difference Learning--阅读笔记【Reinforcement Learning An Introduction 2nd】
木易进
08-23 660
文章目录时序差分学习Temporal-Difference Learning前言TD预测/评估TD预测方法的优势TD(0)的最优性Sarsa:在线策略TD控制Q-learning:off-policy TD控制期望sara算法最大化偏差Maximization Bias 和 Double LearningGame、afterstate和其他特例总结 时序差分学习Temporal-Difference Learning 内容简要梳理: 本章主要讲解了又一种RL方法，基于时序差分学习的方法，依照GPI模式，首
Reinforcement Learning：An Introduction PDF文档+源代码
12-11
《Reinforcement Learning：An Introduction》是Richard S. Sutton和Andrew G. Barto合著的经典教材，为深入理解RL提供了理论基础和实践指导。 该书详细阐述了强化学习的基本概念，包括马尔科夫决策过程（Markov ...
Reinforcement Learning An Introduction.pdf
08-13
3. 临时差分学习（Temporal Difference Learning, TD）：这是强化学习中的一种重要学习算法，它允许agent通过估计状态值或动作值来更新其策略，例如SARSA和Q-learning。 4. 贪婪策略与ε-贪婪策略：在探索与利用...
reinforcement learning: an introduction
11-02
本书《Reinforcement Learning: An Introduction》由Richard S. Sutton和Andrew G. Barto撰写，是强化学习领域的经典著作，涵盖了Q-learning、马尔科夫决策过程（Markov Decision Processes，MDP）等关键概念和技术...
Monte Carlo Methods
小孔明的专栏
09-10 425
https://www.scratchapixel.com/lessons/mathematics-physics-for-computer-graphics/monte-carlo-methods-in-practice/monte-carlo-methods Monte Carlo Methods: I Am Feeling (Un-)Lucky! in rendering, the term...
Reinforcement_learning_An_introduction 第二版
11-02
Reinforcement_learning_An_introduction 第二版 RL经典教学书籍，2018年最新版本，是想学习强化学习入门的必备资料
MATLAB强化学习_多臂赌机问题_时变egreedy策略
01-18
MATLAB强化学习代码包，用于解决多臂赌机问题的时变e-greedy策略 "I thought what I'd do was I'd pretend I was one of those deaf-mutes, or should I?"
RL an introduction学习笔记(1)：Muti-arm Bandits
doUle_sUn的博客
03-11 989
Blog中的代码参考了Reinforcement learning an introduction的实例代码，Github地址如下： ShangtongZhang/reinforcement-learning-an-introduction 目录问题描述：Muti-arm Bandits问题简化：10-armed testbed执行流程：Code解决方案：Algorithmsample-avera...
[RL] 5 Monte Carlo Methods (1)
hubin00sx的博客
04-05 1722
——清明给自己放了假，见了高中老铁和他妻子，谨以此博客献给这幸福的一对，就这样度过一生哦:)  我们开始讲我们的第一个估计value functions、发现optimal policies的学习方法。 由于这一系列[RL]的博客都是围绕着增强学习问题讲的，因此建议从[RL] 3 Finite Markov Decision Processes (1)看起，至少需要了解建好的MDP模型。   与
RL(Chapter 6): Temporal-Difference Learning (TD learning) (时序差分学习)
连理o的博客
11-14 1660
本文为强化学习笔记，主要参考以下内容： Reinforcement Learning: An Introduction 代码全部来自 GitHub 习题答案参考 Github 目录TD Prediction TD learning is a combination of Monte Carlo ideas and dynamic programming (DP) ideas. Like Monte Carlo methods, TD methods can learn directly from ra
[强化学习]易混知识勘误_from李宏毅P3——Q_Learning/ MC+PD
观林望实的博客
04-15 1286
本文是这篇博文的注，如有需要请以其为纲 1.Critic 注：这里出现了Critic，作用是：评价actor（行为）的好还是不好，而不指导行为（指导行为是policy的工作） 使用value function表征Critic，写作，他基于actor \pi（策略），衡量s（状态）的好坏。因为是对状态的评价，所以其实包含了使用此策略到游戏结束所有的reward之和。 2.两种得到Critic...
为什么E-GREEDY算法中e越小，性能会更好
jasonwang_的博客
01-21 8000
为什么E-GREEDY算法中e越小，性能会更好 How to understand the following sentences  第一句，讲的是e-贪心方法最终的性能更好的原因在于它持续地探索使得找到最优动作的概率提高了（纯粹的贪心只有1/3的概率找到最优动作）。 第二句，当e=0.1时，该方法探索的概率更高，因而能更早地找到最优动作，但它选取该动作的概率不超过91%（因为有10%概率是...
蒙特卡洛方法介绍
欢迎来到道的世界
09-16 6020
蒙特卡洛方法概述  蒙特卡罗方法又称随机抽样技巧或统计试验方法。蒙特卡罗方法是一种计算方法，但与一般数值计算方法有很大的区别。它是以概率统计理论为基础的一种方法。由于蒙特卡罗方法能够比较逼真地描述事物的特点及物理实验过程，解决一些数值方法难以解决地问题，因而该方法地应用领域日趋广泛。 蒙特卡洛方法基本思想 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值