【强化学习公式理解】

最新推荐文章于 2025-06-24 10:08:36 发布
原创 最新推荐文章于 2025-06-24 10:08:36 发布 · 1.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析强化学习中的关键概念，包括Return的定义，探讨片段奖励是否必须在终结状态结束，解释马尔科夫决策过程（MDP）的重要性，特别是在有限MDP中的应用。此外，文章还介绍了Value Function的概念，特别是State和Action Value Function，并讨论了它们与Policy的关系，以及如何通过蒙特卡洛方法和参数估计来计算这些值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

看了视频后，发现对RL的理解浮于表面，很多问题想不明白，所以停下来整理下公式，加深对理论的理解程度再继续推进。

第三章

Return

在一次实验中，时间步t之后的奖励记做 Rt+1, Rt+2, Rt+3, . . .,

片段奖励Gt:= Rt+1+ Rt+2+ Rt+3+· · ·+ RT, 式子(3.1)：
这个地方最后一个状态是否一定是终结状态呢？这个我现在也不知道，但是当面向具体的问题时，我想这不是一个问题。总之此处定义了一个片段(epsode)的奖励值。

非终结状态：S
终结状态： S+
加上折扣因子后是：
在这里插入图片描述

MDP

满足马尔科夫属性的强化学习任务叫做马尔科夫决策过程markov decision process:。特别的，当状态空间和行为空间有限时，这被叫做finite markov process process，有限MDP是重要的强化学习理论，理解了finite MDP就可以解决90%的RL问题。

在Finite MDP任务中，基于当前的S，采取action a，下一个时间步的states s’和及时奖励记做式子3.6：
在这里插入图片描述
基于3.

最低0.47元/天 解锁文章

200万优质内容无限畅学
强化学习：从经典强化学习理解Q学习
AI天才研究院
10-08 1006
强化学习算法主要分为两大类：值函数方法和策略梯度方法。本文从经典强化学习入手，介绍了强化学习的核心概念、算法原理、具体操作步骤、应用领域等。通过案例分析，展示了强化学习在实际问题中的应用。同时，本文还展望了未来发展趋势和面临的挑战。
强化学习之基本公式
AntiDigit的博客
12-08 2372
强化学习 公式理解 强化学习中使用收获做为估计价值的指标，这可以类比与现实世界中如何在一顿自助餐中吃回本，如何在一段时间中消耗最低等问题，为了获得最优结果，我们使用计算机进行大量运算。这就是强化学习。 推想（复杂，结果最优？只是最优控制吧。） 状态S的收获 G(S)=r(s,a)+γr(st+1,at+1)+......G(S)=r(s,a)+γr(s_{t+1},a_{t+1})+......G(S)=r(s,a)+γr(st+1​,at+1​)+...... 这就相当于G(S)=Σk=0∞rt+k∗γ
强化学习 重要定义和公式 一览
Markfieraloha的博客
08-10 926
状态价值函数 vπ(s)v_{\pi}(s)vπ​(s) 定义为：从状态s开始，采用策略π\piπ 的期望回报： vπ(s)=Eπ[Gt∣St=s] v_\pi(s) = E_\pi[G_t|S_t = s] vπ​(s)=Eπ​[Gt​∣St​=s] 其中 GtG_tGt​ 定义为未来奖励之和： Gt=Rt+1+γRt+2+...=∑τ=0∞γτRt+1+τ \begin{alignedat}{2} G_t &= R_{t+1} + \gamma R_{t+2} + ...\\ &=\s
强化学习（Reinforcement Learning, RL）概览
最新发布
MzKyle的博客
06-24 1654
强化学习是机器学习的分支，通过智能体与环境交互最大化累积奖励。其核心要素包括智能体、环境、状态、动作、奖励、策略和价值函数。数学基础为马尔可夫决策过程（MDP），涉及状态转移、奖励函数和折扣因子。算法分为基于价值（如Q-learning、DQN）、基于策略（如PPO）和Actor-Critic（如DDPG）三类。关键问题包括探索与利用平衡、连续空间处理和多智能体协作。深度强化学习前沿技术包括Rainbow DQN、分层学习和元学习。
学习心得-强化学习【贝尔曼公式】
weixin_45739351的博客
03-12 1247
强化学习基础笔记
强化学习公式推导（Actor-Critic）
10-21 1411
PG算法是对整个马尔科夫链（也就是每个trajectory）进行期望计算,最终推导的得到的公式如下: ▽θRθ‾=Eτ∼πθ(τ){∑t=1T▽θlog[πθ(at∣st)]}∗{∑t=1Tr(st,at)}(1) \tag{1} \triangledown_{\theta} \overline{R_\theta}= E_{\tau \sim \pi_{\theta}(\tau)}\{\sum_{t=1}^T \triangledown_{\theta}log[\pi_{\theta}(a_t|s_t)]\
强化学习理论基础（MDP、值函数与贝尔曼公式以及表格式Agent）
tzr0725的博客
07-27 2333
强化学习理论基础（MDP、值函数与贝尔曼公式）前言一、MDP策略与环境模型二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 强化学习是智能体（Agent）不断地与环境交互、获取奖励、更新自身策略的迭代过程，目标是学习到能够使整体回报最大化的策略。总的来说，强化学习相比机器学习的监督学习方法有如下特点：1）定义模型所需的约束更少，大大降低定义问题的难度；2）强化学习更重视整个过程的回报，不局限于单步行动。强化学习方法类似于人类学习决策的过程，在预
强化学习基本概念及公式推导
weixin_41106546的博客
04-05 2459
马尔可夫决策过程（Markov decision process，MDP）是强化学习的重要概念。要学好强化学习，我们首先要掌握马尔可夫决策过程的基础知识。前两章所说的强化学习中的环境一般就是一个马尔可夫决策过程。与多臂老虎机问题不同，马尔可夫决策过程包含状态信息以及状态之间的转移机制。如果要用强化学习去解决一个实际问题，第一步要做的事情就是把这个实际问题抽象为一个马尔可夫决策过程，也就是明确马尔可夫决策过程的各个组成要素。本章将从马尔可夫过程出发，一步一步地进行介绍，最后引出马尔可夫决策过程。
【公式理解】强化学习中的不确定性考量解析 ——从元强化学习到泛化强化学习的探索
神经美学_茂森的博客
07-22 995
鲁棒强化学习的最坏情况优化公式关注于在不利条件下保持策略的稳定表现。：这就像是一个探险家在迷雾中探索，他不能完全看到周围的环境（部分可观测），但他可以根据自己之前的位置、采取的行动和当前的观察来更新自己对当前位置的估计（信念状态）。他通过尝试不同的学习方法（策略），并根据这些方法带来的成绩提升（累积奖励）来调整自己的学习策略。他不仅要学会在最佳条件下驾驶，还要确保在最差条件下也能保持稳定的表现。：强化学习、元强化学习、鲁棒强化学习、部分可观测强化学习、POMDP、策略梯度、最坏情况优化。
强化学习教程(1) - 先了解几个公式
lusing的专栏
08-21 1075
强化学习教程(1) - 先了解几个公式 对于学习强化学习的好处，大家已经了解很多了，这里就不多叙述了。 开篇有几点想提醒新入门的同学，关于强化学习的难点。 首先是要做好啃一些理论和公式的准备，虽然深度强化学习可以做到像调库一样使用成熟算法，但是有扎实的理论基础对于学习前沿论文还是一个必要的选项。 第二是对算力的需求要有明确的考虑。比如我们调库可以很容易实现Atari游戏的对战，但是能打败计算机是需要用GPU或其他加速的，想用CPU训练几分钟就能通关还是不现实的。 第三是对于强化学习和深度学习编程框架需要有
详解强化学习（Reinforcement Learning）（基础篇）
m0_73916791的博客
11-26 3667
不过，目前有许多开源的强化学习库（如OpenAI Gym、TensorFlow、PyTorch等），提供了DDPG算法的实现示例和教程，可以参考这些库中的示例代码来实现DDPG算法。Actor网络通过最大化值函数Q(s, a)的梯度来更新策略函数的参数，而Critic网络通过值函数的近似来估计最大化累积奖励。其中，Q(s, a)表示在状态s执行动作a的累计奖励估计值，α为学习率，r为当前的立即奖励，γ为折扣因子，s’为执行动作a后的新状态，a’为在新状态s’下的最优动作。
强化学习(Reinforcement Learning)
学习笔记
12-12 1584
强化学习的本质可以说为是对贝尔曼方程(Bellman equationBellman\ equation)求最优近似解，强化学习的任务通常称为马尔可夫决策过程(Markov Decision Process, MDPMarkov\ Decision\ Process,\ MDP)。 应用场景就不说了…MDP(Markov Decision ProcessMarkov\ Decision\ Proc
强化学习中的马尔可夫决策过程，常见公式回顾
tortorish的博客
09-04 740
强化学习中的马尔可夫决策过程，常见公式回顾。
【强化学习】强化学习数学基础：贝尔曼公式
小哲的博客
02-24 2428
强化学习数学原理，state value和action value，贝尔曼公式
强化学习 Value-Based的公式
zhengjian1996的专栏
02-28 460
强化学习的Value-Based方法基于估计状态或状态动作对的值函数（value function）来指导智能体的决策。常见的value-based方法包括Q-learning、Deep Q-Network（DQN）等。中得到的最大的状态-动作值函数估计。这个公式表示用当前估计的值函数对未来奖励的预测来更新当前的估计。表示折扣因子，表示未来奖励的价值随时间的降低速率。的状态-动作值函数估计，
强化学习数学原理(二)——贝尔曼公式
ArtoriaLili的博客
01-26 870
贝尔曼公式的基础，应该算是计算的基础吧，之后的代码尽量都换成matlab来实现
基于策略的强化学习公式推导
zhisuihen6347的博客
08-27 1124
基于策略的强化学习就是最大化平均收益Rˉ\bar{R}Rˉ，公式如下： Rˉ=∑τPθ(τ)R(τ) \bar{R}=\sum_\tau P_{\theta}(\tau)R(\tau) Rˉ=τ∑​Pθ​(τ)R(τ) 其中，τ\tauτ为一个episode，可以写成{s1,a1,r1,…,sH,aH,rHs_1,a_1,r_1,\dots,s_H,a_H,r_Hs1​,a1​,r1​,…,sH​...
强化学习算法
weixin_41652700的博客
05-24 2907
但是我们实际上并没有真实价值函数（要不然干嘛还要更新这个价值函数呢），所以只能用不同的方法去估计这个真实价值函数值，也就是上式。采用不同的估计方法就产生了不同的基于值的强化学习算法。上式是V更新过程的理想公式，真实价值函数值与过去价值函数值的差就是应当更新价值函数的方向。确定策略梯度：理解为“带权重的梯度”，G为代表好坏的权重，为代表方向的梯度（注意这个梯度跟目标函数梯度不同）后续Q的更新公式是一样的，思路都是一样的。确定策略梯度：理解为找最大的Q。
学习心得-强化学习【贝尔曼最优公式】
weixin_45739351的博客
03-14 1725
强化学习基础心得
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值