强化学习第八章：值函数近似

最新推荐文章于 2025-03-14 14:08:58 发布
最新推荐文章于 2025-03-14 14:08:58 发布
阅读量857 收藏 27
点赞数 29
CC 4.0 BY-SA版权
分类专栏： 强化学习理论学习 文章标签： 机器学习 数学建模 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42828479/article/details/140456736

强化学习第八章：值函数近似

什么叫做函数近似

原有表格法的优缺点

回顾之前的动作状态价值
在这里插入图片描述
在强化学习过程中会不断更新这个表格，用状态和动作进行索引，直观便于分析。但是如果动作或者状态的取值范围很大或者不是离散而是连续的，这个表格会变得超级大或者根本 无法建立 这个表格，同时需要很多经验才能保证全部访问所有的状态-动作对进行更新。

函数近似

假使用一根直线来近似状态价值离散点，输入状态，输出状态价值，这样只用保存直线的斜率和截距两个参数即可。
在这里插入图片描述
这样做大大 减少了参数量 ，但是 准确性降低 了，同时在 更新参数向量 的时候，所有的状态价值都会 随着改变 ，不用访问所有状态，也能修改其状态价值， 增加 了 泛化性 ，这种做法叫值近似。
除了线性还可以扩展到非线性。
在这里插入图片描述
准确性高了，参数增加了。

值函数近似的目标函数

目标是找到一个最优的参数向量，让每个状态的近似值更接近真实值。

目标函数的定义

<

最低0.47元/天 解锁文章

200万优质内容无限畅学
强化学习Reinforcement Learning中价值函数近似方法解读
AI天才研究院
10-08 1061
强化学习（Reinforcement Learning, RL）是机器学习领域的一个重要分支，它通过智能体（Agent）在与环境的交互中不断学习，以最大化长期累积奖励。在RL中，价值函数是一个核心概念，它表示智能体在某个状态或状态-动作对上的期望回报。然而，对于复杂的决策问题，状态空间和动作空间通常非常庞大，直接计算价值函数往往不可行。因此，如何近似价值函数成为RL研究中的一个重要课题。价值函数近似方法的核心思想是使用参数化模型（如神经网络）来近似价值函数，从而降低计算复杂度，拓展应用范围。
4. 强化学习之——值函数近似
June
06-11 2605
课程纲要 值函数近似简介 值函数近似用于prediction【给定策略函数给定它的价值】 值函数近似用于control DQN简介 为什么要有值函数近似 之前的课程提到的 RL 问题：像 Cliff Walk 等，都只有几千或者几百种状态，可以用 V值的向量或者Q-Table 的方式表达出来 而其它大规模的 MDP 问题：像 Go【10**170】 等状态空间十分十分巨大，宇宙中的原子数量也只有 10**80 那么多，那么我们就没有那么大的存储空间，而且状态太多了学习起来很慢很慢 在这种大.
值函数近似Value Function Approximation
weixin_45526117的博客
02-20 1091
值函数有两种：状态值函数V(s)和动作状态值函数Q(s,a)。对于大规模MDP问题，有很多state或者action需要存储，单个学习每种状态的价值非常慢，因此使用函数逼近function approximation来估计value function。
强化学习:值函数近似【Deep Q-Network,DQN,Deep Q-learning】
v20000727的博客
06-27 1519
DQN的提出是深度强化学习领域的重要里程碑，它展示了深度学习在强化学习中的巨大潜力，本文介绍强化学习中的值函数近似方法，以及经典的DQN模型。
强化学习的数学原理学习笔记 - 值函数近似（Value Function Approximation）
Green Lv的博客
01-08 2115
强化学习的数学原理学习笔记：基于值的（Value-based）值函数近似方法（Value Function Approximation），包括对Sarse / Q-learning with function approximation以及DQN算法的介绍。
（《机器学习》完整版系列）第16章 强化学习——16.10 值函数近似
qiy_icbc的博客
03-28 285
函数近似：以某种已知曲线（含参数）逼近未知函数。 现在：未知函数为 值函数，已知函数取线性函数
（十三）从零开始学人工智能-强化学习:值函数近似和策略梯度
weixin_45552760的博客
12-23 1337
强化学习 文章目录强化学习1. 值函数近似1.1 线性函数近似1.1.1 状态价值函数近似1.1.2 动作价值函数近似1.2 深度神经网络近似2. 策略梯度声明参考资料 前两节内容都是强化学习的一些基础理论 ，只能解决一些中小规模的问题，实际情况下很多价值函数需要一张大表来存储，获取某一状态或动作价值的时候通常需要一个查表操作，这对于某些状态或动作空间很大的问题几乎无法求解，而许多实际问题拥有大量...
《强化学习》中的第11章：基于函数逼近的离轨策略方法
记录学习痕迹的公众号：Piper蛋窝
03-15 1441
总的来说，第11章学习体验不好。可能是由于内容本身比较抽象，第11章属于星标章节。练习题没有引起我的兴趣。还有一点比较令人失望：尽管本章讨论了不少更新目标与算法（其中很多为反例），并给出了大量带有矩阵的计算公式，但实例并不多。因此，我认为理解其大概思想便可。
Lecture 6：值函数近似
小小何先生的学习之旅
03-04 549
本文是自己学习David Silver课程的学习笔记：原视频可以在油管或者B站上搜到。 PPT的连接如下：http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html。网速慢的话可以点击这里。 这里将会讲更深层次的东西，我们将会讲强化学习是如何应用到实际生活当中的。 强化学习需要解决large-scale的问题，什么是large-s...
[强化学习-5] 值函数近似
Sundrops的专栏
09-01 3600
前几篇博客讲了如何进行值函数估计，估计完之后这些结果怎么保持呢，状态动作空间很小的就存在表中，用的时候查表获取v(s)和Q(s, a)，但当状态空间是高维连续时，需要储存的东西就太多了，这个表就不行了，这时我们会采用函数逼近(function approximation)的方式逼近值函数： 一般的函数逼近有 Linear combinations of features(可微) N...
强化学习：值函数近似
qq_50086023的博客
06-26 846
Sarsa ＋ 值函数近似、Q-learning＋ 值函数近似、Deep Q-learning
强化学习基础篇——值函数近似
最新发布
weixin_73605337的博客
03-14 1299
值函数近似是强化学习应对大规模状态空间的核心技术，通过参数化函数替代表格存储，实现了从低维到高维、从离散到连续问题的扩展。线性近似提供理论保障，而非线性近似（如神经网络）在实践中展现出强大的潜力。尽管面临收敛性、探索与利用平衡等挑战，通过目标网络、经验回放等技术，值函数近似已在游戏AI、机器人控制等领域取得突破。随着深度学习与强化学习的进一步融合，值函数近似将继续推动通用人工智能的发展，尤其是在复杂环境建模、多任务泛化等方向。
值函数近似——Large MDPs 的福音
Promising0321的博客
03-18 2120
对于具有大量状态空间和动作空间的MDPs，前面讲到的一些处理方法就不再适用了，可能会引起维度爆炸之类的问题。一个简单的方法就是用带有权重w参数的一个关于s的函数来表示近似的Vπ（s）或者qπ（s,a），以此建立值函数逼近器，这样我们就可以估算任何一个函数的值，并将其应用于状态数据库中，从而压缩了状态数据库的存储量。Value Function Approximation的思想大致就是如此。一、随机...
David silver强化学习课程第六课 值函数近似
weixin_41823188的博客
08-26 920
第六课 值函数近似 一开始看这节课内容的时候，还是有些乱的。不像前五章每一章的联系都很紧密，本章内容较分散，概念性的东西变少了，更多的引入了几种不同的算法，可以直接从算法上理解本课的内容—值函数近似。 对于预测问题，我们可以参数化的表示状态值函数；对于预测问题，可以参数化的表示状态-动作值函数。本章讲了值函数近似的两种方法：增量方法和批方法，这两种方法主要在数据的使用上有所不同，但是都是基于随机梯度下降法。本章最后还引入了线性值函数近似的直接求解方法。 上述方法在MC/TD(0)/TD(λ)下均有不同实现方
强化学习的数学原理（八-1）值函数近似
qq_50867500的博客
01-13 638
（1）引入用函数拟合V值的思想（2）在给定拟合函数结构形式的前提下，给出求解拟合函数系数的方法-优化一个目标函数（3）给出了求解目标函数系数的一般性方法，为后续Q值近似打下基础SASASAsbs&plus;2%7D&plus;
多元函数的向量表示_9.1 值函数近似
weixin_39522423的博客
11-11 383
序言这一章的标题是基于近似的在策略预测（on-policy prediction with approximation）。on-policy prediction我们很熟悉，on-policy就是说要学习的策略和产生行为数据的策略是一样的。预测我们也说过，就是估计策略值函数。合起来就是估计策略 自身的值函数 （注意本章我们并没有谈到control，也就是求最优策略，这个我们放到下一章）。但是呢...
RL（八）值函数近似法
weixin_42022175的博客
08-21 3026
目录1、大规模强化学习值函数近似法概述 前面一章我们讲了Sarsa算法和Q-learning算法。当状态空间和动作空间比较大时，精确获得状态值v(s)和动作值q(s,a)非常困难。此时可以通过寻找状态值或动作值函数的近似函数代替对应的原函数，以降低计算的复杂度。具体可以用线性组合、神经网络等方法来寻找近似函数。 在了解值函数近似方法前，先了解什么是大规模学强化习。 1、大规模强化学习 其实前面所讲...
Reinforcement Learning强化学习系列之五：值近似方法Value Approximation
luchi007的专栏
02-09 2450
引言 前面说到了强化学习中的蒙特卡洛方法(MC)以及时序差分(TD)的方法，这些方法针对的基本是离散的数据，而一些连续的状态则很难表示，对于这种情况，通常在强化学习里有2中方法，一种是针对value function的方法，也就是本文中提到的值近似(value approximation)；另一种则是后面要讲到的policy gradient。 值近似的方法 值近似的方法根本上是使用...
【强化学习的数学原理】第八课：值函数近似
qq_44044341的博客
10-29 289
【例子】 我们目前使用的都是state value表格形式 优点：直观易分析 缺点：没法处理大的和连续的state空间或action空间 假设我有一些状态s1,…,s∣S∣s_1, \ldots, s_{|\mathcal{S}|}s1​,…,s∣S∣​，他们的state value是vπ(s1),…,vπ(s∣S∣)v_\pi\left(s_1\right), \ldots, v_\pi\left(s_{|\mathcal{S}|}\right)vπ​(s1​),…,vπ​(s∣S∣​)，其中π\p
《强化学习导论》：权威学者作品，中英版详细介绍
8. 深度强化学习（Deep Reinforcement Learning）：深度学习和强化学习结合产生了深度强化学习，它利用深度神经网络作为函数逼近器来学习价值函数或策略。深度强化学习成功应用于很多复杂的任务中，包括游戏、机器人...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值