Policy Gradients

最新推荐文章于 2025-07-01 19:19:43 发布
最新推荐文章于 2025-07-01 19:19:43 发布
阅读量152 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/LincHpins/p/10545122.html
博客记录了Policy Gradients相关内容。该算法不估计局面价值，而是预测动作概率。其更新函数为\(\theta_{t+1}=\theta_t + \alpha \cfrac{\partial J}{\partial \theta}\)，\(J(\theta)\)受行为选择和到各状态概率影响。还提到梯度计算可通过蒙特卡洛估计或Q - learning、DQN迭代。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇博客只是为了自己记录，思路比较跳跃。

Policy Gradients

不估计局面的价值，转而预测选取每个动作的概率。因为某些游戏中我们可能会需要在相同的状态下做出随机行为，比如说某些资源有限的游戏，我们不可能一直在某一个地方一直获取资源。

更新函数是\(\theta_{t+1}=\theta_t + \alpha \cfrac{\partial J}{\partial \theta}\)，其中\(J(\theta)\)是对当前参数产生的策略的评价，越高越好。

\(J(\theta)\)中，\(\theta\)的影响来自于两方面，一是在特定状态下的行为选择，二是这个策略到每个状态的概率。行为选择的偏导比较好考虑，然而行为造成的“某些高价值的状态没有到达”这件事情的偏导就没有那么形象了。

725727-20190316231247187-1402340354.png

725727-20190316231302940-612650820.png

我们把策略对可能到达状态的影响浓缩在了一个\(\mu (x)\)里，表示在该策略下到达\(x\)的概率。

最后关于这个梯度的计算，我自己有一些想法：

  • 一是通过蒙特卡洛估计，即使状态量巨大或者无限，状态的密度分布依然会把我们带到密度大的状态，我们的\(q\)值也是策略下的\(q\)值，没有统计到的密度小的状态价值再高也会被密度冲淡，影响不大。
  • 二是通过Q-learning or DQN来估计\(q\)值，两个算法相互迭代。

转载于:https://www.cnblogs.com/LincHpins/p/10545122.html

策略梯度 (Policy Gradients) 原理与代码实例讲解
AI大模型应用之禅
06-21 1145
策略梯度 (Policy Gradients) 原理与代码实例讲解 1.背景介绍 在机器学习和人工智能领域，强化学习（Reinforcement Learning, RL）是一种重要的学习范式。与监督学习和无监督学习不同，强化学习通过与环境的交互来学习策略，以最
Policy Gradients原理与代码实例讲解
AI架构师小马
05-21 831
1. 背景介绍 1.1 强化学习的崛起 强化学习（Reinforcement Learning，RL）作为机器学习的一个重要分支，近年来取得了令人瞩目的成就，AlphaGo、AlphaStar 等人工智能技术的突破更是将其推向了新的高度。强化学习的核心思想是让智能体（Agent）通过与环境交互，不断学
深度强化学习（三）：Policy Gradients
LagrangeSK的博客
05-17 5524
一、基本思想 强化学习是一个通过reward来学习正确行为的机制，家族中有很多种不一样的成员，有value-based方法：通过计算value function，根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network（DQN)。也有不通过分析value function，直接输出action的方法，如 Policy Gradients 。 那么我们思考一个问题...
【深度强化学习】策略梯度 Policy Gradients
B417科研笔记
06-29 1751
重读《Deep Reinforcemnet Learning Hands-on》， 常读常新， 极其深入浅出的一本深度强化学习教程。 本文的唯一贡献是对其进行了翻译和提炼， 加一点自己的理解组织成一篇中文笔记。原英文书下载地址: 传送门 原代码地址： 传送门本文是书本第九章，介绍DQN的一种替代：策略梯度方法。在DQN方法中，我们主要是通过深度网络，得到不同状态下不同动作所对应的Q值，然后选取Q值最大的动作。 这一策略我们可以表示如下：π(s)=arg⁡maxaQ(s,a) \pi(s)=\arg m a
强化学习PolicyGradients
JasonSparrow_1的博客
03-05 383
Policy Gradients 通过奖惩机制reward，来对选择进行反向传递，从而确定是否需要进行加大，或者减小选择的力度
Policy Gradient
qq_45944185的博客
06-30 538
简介 强化学习是一个通过奖惩来学习正确行为的机制。 家族中有很多种不一样的成员，有学习奖惩值，根据自己认为的高价值选行为， 比如 Q learning, Deep Q Network, 也有不通过分析奖励值，直接输出行为的方法，这就是今天要说的 Policy Gradient 了。甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的动作。对比起以值为基础的方法，Policy Gradients 直接输出动作的最大好处就是，它能在一个连续区间内挑选动作，而基于值的，比如 Q-lear
什么是 策略梯度 Policy Gradients (Reinforcement Learning 强化学习)
08-30
什么是_策略梯度_Policy_Gradients_(Reinforcement_Learning_强化学习)
5.2 Policy Gradients 思维决策 (强化学习 Reinforcement Learning 教学)
08-31
#5.2_Policy_Gradients_思维决策_(强化学习_Reinforcement_Learning_教学)
Policy Gradients & Actor Critic
x3464的博客
09-26 496
Policy Gradients 直接输出概率 Policy gradient 是 RL 中另外一个大家族, 他不像 Value-based 方法 (Q learning, Sarsa), 但他也要接受环境信息 (observation), 不同的是他要输出不是 action 的 value, 而是具体的那一个 action, 这样 policy gradient 就跳过了 value 这个阶段. 而且个人认为 Policy gradient 最大的一个优势是: 输出的这个 action 可以是一个连续
【强化学习】之Policy Gradients
北国觅梦
05-14 629
参考链接：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/5-1-A-PG/ 目录 对比Policy Gradients和Q-learning Policy Gradients和Q-learning的反向传递不同之处 Policy Gradients 的核心思想 算法 对比Po...
强化学习系列 5 : Policy Gradients
女王の专属领地
05-07 1988
强化学习是一个通过奖惩来学习正确行为的机制. 家族中有很多种不一样的成员, 有学习奖惩值, 根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network, 也有不通过分析奖励值, 直接输出行为的方法, 这就是今天要说的 Policy Gradients 了. 甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的动作. 对比起以值为基础的方法
策略梯度 (Policy Gradient)
AI天才研究院
07-30 931
策略梯度 (Policy Gradient) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：策略梯度，强化学习，蒙特卡洛方法，时序决策，智能优化 1. 背景介绍
Policy gradient(策略梯度详解)
热门推荐
ygp12345的博客
10-11 2万+
文章目录策略梯度基本知识什么是策略梯度？强化学习案例策略梯度公式详解如何使你的损失函数更好增加一个基准为每一个action分配不同的权重 策略梯度基本知识 什么是策略梯度？ 直接根据状态输出动作或者动作的概率。那么怎么输出呢，最简单的就是使用神经网络啦！我们使用神经网络输入当前的状态，网络就可以输出我们在这个状态下采取每个动作的概率，那么网络应该如何训练来实现最终的收敛呢？我们之前在训练神经网络时，使用最多的方法就是反向传播算法，我们需要一个误差函数，通过梯度下降来使我们的损失最小。但对于强化学习来说，我们
强化学习-Policy Gradients
winycg的博客
03-19 1768
策略网络，即建立一个神经网络模型，通过观察环境状态，直接预测出目前应该执行的策略(Policy)，执行这个策略可以获得最大期望收益。策略网络不只是使用当前的reward作为期望收益，而是使用discounted future reward，即把未来奖励乘上衰减系数γ，γ为略小于1的数，期望收益为r=r1+γr2+γ2r3+⋯+γn−1rnr=r1+γr2+γ2r3+⋯+γn−1rnr=r_{1}+...
强化学习：Policy Gradients 学习笔记
只是个人学习笔记
07-01 1590
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
RL2_policy_gradients_mainly
MrTeq的专栏
01-14 235
https://flyyufelix.github.io/2017/10/12/dqn-vs-pg.html   ***Deep Q Network vs Policy Gradients - An Experiment on VizDoom with Keras http://karpathy.github.io/2016/05/31/rl/     ***Deep Reinforcement...
强化学习之Policy Gradient
ZONGXP的博客
09-18 8117
参考：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/5-1-policy-gradient-softmax1/ Policy gradient 是 RL 中另外一个大家族, 他不像 Value-based 方法 (Q learning, Sarsa), 但他也要接受环境信息 (ob
policy gradients
最新发布
07-29
首先，用户的问题是：“我想了解策略梯度方法及其在强化学习中的应用 请问policy gradients in reinforcement learning explained”，翻译成英文是：“I want to understand policy gradient methods and their ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值