【强化学习】再读策略梯度

这几天在思考为什么策略梯度的目标函数会是这样的形式：
$$\mathcal{L}=-\sum _{k,t}{Q}_{k,t}\log \left(\pi \left(s_{k,t},a_{k,t}\right)\right)$$
主要奇怪于为什么突然冒出来$\log$。 尽管物理意义上我比较容易理解，反正就是鼓励$Q$值大的动作，打压$Q$值小的动作。但是还是比较较真其推导是如何来的。今天参考了DeepSeek的回答，加上一些自己的心得体会，用博客记录下。

策略梯度算法：原始目标函数、梯度、代理目标函数及其正确性

原始目标函数 (Original Objective Function)

在强化学习中，目标是最大化策略${\pi }_{\theta }(a|s)$下的期望累积奖励。令$\tau =(s_0,a_0,s_1,a_1,\dots ,s_T)$表示一个轨迹（trajectory），其中$s_t$是状态，$a_t$是动作，$T$是轨迹长度（可能无限）。轨迹的累积奖励定义为：
$$R(\tau )=\sum _{t=0}^T{\gamma }^{t}r(s_t,a_t),$$
其中$\gamma \in [0,1]$是折扣因子，$r(s_t,a_t)$是即时奖励。

原始目标函数$J(\theta )$是策略参数$\theta$下的期望累积奖励：
$$J(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[R(\tau )\right].$$
这里，$p_{\theta }(\tau )$是策略${\pi }_{\theta }$和环境动态$p(s_{t+1}|s_t,a_t)$共同定义的轨迹分布：
$$p_{\theta }(\tau )=p(s_0)\prod _{t=0}^{T-1}{\pi }_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t).$$
优化目标是通过调整$\theta$来最大化$J(\theta )$. 这个目标函数的定义非常直观，但是很难直接对$\theta$求梯度。换言之，不太明确该如何套用到当前神经网络已经非常成熟的反向传播流程中。

梯度 (Gradient)

策略梯度定理（Policy Gradient Theorem）提供了$J(\theta )$的梯度表达式。REINFORCE算法直接使用该梯度进行随机梯度上升。梯度的推导基于似然比技巧（Likelihood Ratio Trick）：
$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[R(\tau )\right]={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[R(\tau ){\nabla }_{\theta }\log p_{\theta }(\tau )\right].$$
其中，${\nabla }_{\theta }\log p_{\theta }(\tau )$是轨迹的对数似然梯度。由于环境动态$p(s_{t+1}|s_t,a_t)$与$\theta$无关，我们有：
$${\nabla }_{\theta }\log p_{\theta }(\tau )=\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t).$$
代入梯度表达式：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\left(\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right)R(\tau )\right].$$
在实际中，$R(\tau )$通常替换为从时间步$t$开始的折扣累积奖励$G_t={\sum }_{k=t}^T{\gamma }^{k-t}r(s_k,a_k)$（称为回报），以减小方差。这是因为动作$a_t$只影响未来奖励，因此：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right].$$
这是REINFORCE算法的核心梯度公式。这里我们先在数学上推导了梯度的准确形式。

等效的代理目标函数 (Equivalent Surrogate Objective Function)

直接优化$J(\theta )$困难，因为其涉及期望计算。因此，REINFORCE使用一个代理目标函数$\tilde{J}(\theta )$，其梯度与${\nabla }_{\theta }J(\theta )$相同。

代理目标函数定义为：
$$\tilde{J}(\theta )={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right].$$
注意：

• $\log {\pi }_{\theta }(a_t|s_t)$是动作的对数概率，而非其梯度。
• $G_t$是从时间$t$开始的折扣累积奖励。
• $\tilde{J}(\theta )$是$J(\theta )$的代理（surrogate），因为优化$\tilde{J}(\theta )$能间接优化$J(\theta )$。

代理函数的关键在于其梯度：
$${\nabla }_{\theta }\tilde{J}(\theta )={\nabla }_{\theta }{\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right]={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right].$$
这与${\nabla }_{\theta }J(\theta )$完全一致：
$${\nabla }_{\theta }\tilde{J}(\theta )={\nabla }_{\theta }J(\theta ).$$
因此，$\tilde{J}(\theta )$是$J(\theta )$的等效代理目标函数。

注意到 $\tilde{J}(\theta )$ 可以很容易通过已有样本计算得到， 相较于原始目标$J(\theta )$， 无疑更适配当前的AI训练架构。