【RL强化学习】求解状态价值函数对策略参数的梯度

概述

对基于策略网络的状态价值函数定义：

$$V^{{\pi }_{\theta }}(s)={\mathbb{E}}_{{\pi }_{\theta }}\left[R_t\right|s_t=s]$$

对策略参数 $\theta$ 的梯度 ${\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)$ 的常见两种推导路线：
第一条从 Bellman 方程 出发；
第二条直接把“轨迹-采样”拆开，两种方法最后得到的可采样估计式是相同的

具体求解

如果上图能看明白，那就不用看下去了，
只需要知道状态价值函数对策略参数的梯度是递归的，可以由前一个状态推出后一个状态，这一点对于循环执行的程序来说是极大的利好

下面是更加严谨的推导

从 Bellman 方程求梯度

Bellman 方程

$$V^{{\pi }_{\theta }}(s)=\sum _a{\pi }_{\theta }(a\mid s)Q^{{\pi }_{\theta }}(s,a),Q^{{\pi }_{\theta }}(s,a)=r(s,a)+\gamma \sum _{s^{\prime }}P(s^{\prime }\mid s,a)V^{{\pi }_{\theta }}(s^{\prime }).$$

对第一式求梯度（注意 $P$ 与 $\theta$ 无关）：

$$\boxed{{\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)=\sum _a\underset{{\pi }_{\theta }(a\mid s){\nabla }_{\theta }\log {\pi }_{\theta }(a\mid s)}{\underbrace{{\nabla }_{\theta }{\pi }_{\theta }(a\mid s)}}{Q}^{{\pi }_{\theta }}(s,a)+\gamma \sum _a{\pi }_{\theta }(a\mid s)\sum _{s^{\prime }}P(s^{\prime }\mid s,a){\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s^{\prime })}\text{\hspace{1em}(1)}$$

把它写得更紧凑些：

$${\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)=G_{\theta }(s)+\gamma {\mathbb{E}}_{a\sim {\pi }_{\theta },s^{\prime }\sim P}[{\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s^{\prime })],$$

其中
$G_{\theta }(s)={\mathbb{E}}_{a\sim {\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(a\mid s)Q^{{\pi }_{\theta }}(s,a)]$.

关系 (1) 是一个 线性方程组：$(\mathbf{I}-\gamma {\mathbf{P}}^{{\pi }_{\theta }}){\nabla }_{\theta }V=G_{\theta }$
理论上可以解出闭式，但实际采样时我们更喜欢把它递归展开

递归展开 → 轨迹形式

令 $s_0=s$，把 (1) 右侧第二项迭代代入，可得

$$\begin{array}{rl}{\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)& =G_{\theta }(s)+\gamma {\mathbb{E}}_{s_1\sim d_1}[G_{\theta }(s_1)]+{\gamma }^2{\mathbb{E}}_{s_2\sim d_2}[G_{\theta }(s_2)]+\dots \\ & ={\mathbb{E}}_{{\pi }_{\theta }}[\sum _{t=0}^{\infty }{\gamma }^t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t\mid s_t)Q^{{\pi }_{\theta }}(s_t,a_t)|s_0=s].\end{array}$$

结论 A（完全体）

$$\boxed{{\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[\sum _{t=0}^{\infty }{\gamma }^t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t\mid s_t)Q^{{\pi }_{\theta }}(s_t,a_t)|s_0=s]}$$

这个式子与 Policy-Gradient Theorem 完全同型，只是把起点固定在给定状态 $s$

用优势函数或回报替代 $Q$

• 优势函数 $A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$：

  $${\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s)=\mathbb{E}[\sum _{t=0}^{\infty }{\gamma }^t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t\mid s_t)A^{{\pi }_{\theta }}(s_t,a_t)|s_0=s],$$

  方差更小，actor–critic 常用

• 蒙特卡罗回报 $R_t={\sum }_{k=t}^{\infty }{\gamma }^{k-t}{r}_k$：
  若只能采样 $R_t$（REINFORCE 风格），可把 $Q$ 换成 $R_t$ 拿到无偏估计，但方差大

与全局目标 $J(\theta )$ 的联系

若起始状态服从某分布 ${\rho }_0$，则
$J(\theta )={\mathbb{E}}_{s_0\sim {\rho }_0}[V^{{\pi }_{\theta }}(s_0)]$，

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s_0\sim {\rho }_0}[{\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s_0)],$$

把刚得到的 ${\nabla }_{\theta }{V}^{{\pi }_{\theta }}(s_0)$ 再取一次期望，就回到标准的策略梯度公式

实际实现要点

1. 估计 ${\nabla }_{\theta }\log {\pi }_{\theta }$

   • 离散动作：softmax；连续动作：高斯策略常用封闭式梯度

2. 估计 $Q$/$A$/$V$

   • 单纯时间差分 (TD) 估计，或 GAE-λ（优势）；
   • 网络参数与 $\theta$ 共享或分离皆可，只要保持无偏梯度

3. 可向量化实现
   把同一条轨迹自回溯（或 gae 递归）就能一次构造 ${\sum }_t{\gamma }^t$${\nabla }_{\theta }\log {\pi }_{\theta }(\cdot )$*Return

4. 收敛性
   若 critic 有偏差，把它看成控制方差-偏差权衡；在 PPO/TRPO 中通常加上信赖域或 clip，保证近似梯度仍可行

综上

在 policy gradient，得到 ${\nabla }_{\theta }V(s)不难$：把基准状态固定为 $s_0=s$ 即可

此外，附加Advantage 或 TD-style critic 能显著降低方差