自适应多智能体强化学习与认知层次可组合性研究

# 自适应多智能体强化学习与认知层次可组合性研究 ## 1. 自适应多智能体强化学习 ### 1.1 算法特点 在自适应多智能体强化学习中，提出的解决方案具有以下独特特点： - **正负后悔值共同作用**：玩家的更新过程不仅考虑正后悔值，还纳入负后悔值。具体而言，游戏概率与正后悔值成正比，与负后悔值的倒数成正比。这使得产生较大正后悔值的动作在下一步状态中被选择的概率更高，而产生较大负后悔值的动作在未来被使用的概率更低。 - **δ值选择更简单**：在标准方法中，确定合适的 \(0 < δ < 1\) 较为困难。较大的 \(δ\) 会使收敛结果与相关均衡集距离较大，导致总效用降低；较小的 \(δ\) 则会阻碍探索过程，使智能体倾向于执行相同动作，导致收敛缓慢。而在提出的方法中，只需设置 \(0 < δ ≪1\)。更小的 \(δ\) 值不仅提高了收敛速度，还减少了标准强化学习解决方案中因后悔值估计不准确而导致的不稳定性。 - **负后悔值随时间消失**：由于在游戏概率中对负后悔值包含了 \(1/n^α\) 项，随着时间步长趋于无穷大，负后悔值在游戏概率中会消失。这意味着智能体在充分探索所有潜在选项后，不再考虑产生负后悔值的选择，因为在探索阶段之后使用负后悔值会降低可获得的收益。 ### 1.2 收敛性分析 #### 定理 1 如果一个智能体（即玩家一）采用提出的程序，在其他智能体也如此的情况下，其时间平均条件后悔值几乎肯定会趋近于收益空间中的非正后悔值集合。 证明过程如下： 1. 定义 \(C : Z →R^{m×m}\) 为： \[ [C(z)]_{j,k} = \sum_{\ell\in L} z(j, \ell) (U(k, \ell) - U(j, \ell)) \] 这是玩家一在动作的联合分布 \(z\) 下，用动作 \(k\) 替代动作 \(j\) 时的预期后悔值。 2. 当玩家一以概率 1 执行某个动作 \(i\) 时： \[ [C(z_i)]_{j,k} = \sum_{\ell\in L} 1_{\{i=j\}} y_{\ell}(U(k, \ell) - U(j, \ell)) = 1_{\{i=j\}} (U(k, y) - U(j, y)) \] 由于玩家一只能访问其实际执行动作对应的收益，因此定义该式的估计值为： \[ \tilde{U}(k, y) 1_{\{i=j\}} = \frac{p(j)}{p(k)} U(k, y) 1_{\{i=k\}} \] 3. 第 \(n\) 阶段的伪后悔矩阵为： \[ \tilde{C}_n(j, k) = \frac{p_n(j)}{p_n(k)} U(k, y_n) 1_{\{i_n=k\}} - U(j, y_n) 1_{\{i_n=j\}} \] 可得： \[ E[\tilde{C}_n(j, k)|h_{n - 1}] = p_n(j) (U(k, y_n) - U(j, y_n)) = E \{C_n(j, k)|h_{n - 1}\} \] 其中 \(h_{n - 1}\) 是游戏直到第 \(n - 1\) 阶段的动作历史。 4. \(C_n(j, k)\) 和 \(\tilde{C}_n(j, k)\) 都有界，且它们的极限集重合，根据相关定理，这两个过程具有相同的渐近行为。 5. 第 \(n\) 阶段的平均后悔值矩阵 \(B_n\) 为： \[ B_n(j, k) = \frac{1}{n} \sum_{t = 1}^{n} \left[\frac{p_t(j)}{p_t(k)}U(k, y_t) 1_{\{i_t=k\}} - U(j, y_t) 1_{\{i_t=j\}}\right] \] 离散动态 \(\bar{B}_{n + 1} - \bar{B}_n = \frac{1}{n + 1} (B_{n + 1} - \bar{B}_n)\) 是微分包含 \(\dot{w} \in N(w) - w\)（其中 \(w = B_n\)）的离散随机近似。 6. 定义矩阵序列 \([M_n]_{j,k}\)： \[ [M_n]_{j,k} = \begin{cases} 0, & \text{if } [B_n]_{j,k} = 0 \\ \frac{[B_n]^+_{j,k}}{\sum_{k} [B_n]^+_{j,k}}, & \text{if } [B_n]_{j,k} > 0 \\ \frac{1}{n^{\alpha}} \frac{[B_n]^-_{j,k}^{-1}}{\sum_{k} [B_n]^-_{j,k}^{-1}}, & \text{if } [B_n]_{j,k} < 0 \end{cases} \] 并设置 \([M_n]_{j,