Deep Deterministic Policy Gradient (DDPG)

一、介绍

深度确定策略梯度（Deep Deterministic Policy Gradient，DDPG）

• 它是一种学习连续动作的无模型策略算法。

• 它结合了DPG（确定性策略梯度）和DQN（深度Q网络）的思想。它利用DQN中的经验重放和延迟更新的目标网络，并基于DPG，可以在连续的动作空间上运行。

要解决的问题

• 你正试图解决经典的倒立摆控制问题。在此设置中，你只能执行两个操作：向左摆动或向右摆动。

• 对于Q-学习算法来说，这个问题的挑战在于动作是连续的而不是离散的。也就是说，你必须从-2到+2的无限操作中进行选择，而不是使用像-1或+1这样的两个离散操作。

快速理论

• 就像演员-评论家的方法一样，它有两个网络：

  演员-它提出一个给定状态的动作。

  评论家-它预测给定的状态和动作是好（正值）还是坏（负值）。

• DDPG使用的另外2种技术： 首先，它使用两个目标网络。

  为什么？因为它增加了训练的稳定性。简言之，它是从估计的目标和目标网络学习更新，从而保持它估计的目标稳定。

  从概念上讲，这就像是说，“我有一个如何玩这个好主意，我要尝试一下，直到我找到更好的东西”，而不是说“我要在每一个动作之后重新学习如何玩好整个游戏”。

  第二，使用经验回放。

  它存储元组列表（状态、动作、奖励、下一个状态），而不是仅仅从最近的经验中学习，而是从取样中学习到迄今为止积累的所有经验。

现在，看看它是如何实现的。

二、环境配置

本教程基于 PaddlePaddle 2.3.0 编写，如果你的环境不是本版本，请先参考官网安装 PaddlePaddle 2.3.0。

import gym
import paddle
import paddle.nn as nn
from itertools import count
from paddle.distribution import Normal
import numpy as np
from collections import deque
import random
import paddle.nn.functional as F
from visualdl import LogWriter

三、实施深度确定策略梯度网络（Deep Deterministic Policy Gradient，DDPG）

• 这里定义了演员和评论家网络。这些都是具有ReLU激活的基本全连接模型。
  注意：你需要为Actor的最后一层使用tanh激活，将值映射到-1到1之间。

• Memory类定义了经验回放池。

# 定义评论家网络结构
# DDPG这种方法与Q学习紧密相关，可以看作是连续动作空间的深度Q学习。 
class Critic(nn.Layer):
    def __init__(self):
        super(Critic, self).__init__()