100.15 AI量化面试题：PPO与GPPO策略优化算法的异同点

0. 承前

本文通过通俗易懂的方式介绍PPO(Proximal Policy Optimization)和GPPO(Generalized Proximal Policy Optimization)的共同点与差异点，帮助读者更好地理解这两种强化学习算法。

如果想更加全面清晰地了解金融资产组合模型进化论的体系架构，可参考：
0. 金融资产组合模型进化全图鉴

1. 基本概念解析

1.1 PPO算法

• 定义：一种基于信任区域的策略优化算法，通过限制策略更新步长实现稳定训练
• 目的：实现稳定的策略更新，避免过大的策略变化影响收敛性
• 特点：使用截断的目标函数来限制策略更新幅度，注重实践中的高效性和稳定性

1.2 GPPO算法

• 定义：PPO的泛化版本，引入更灵活的约束机制以适应多样化的优化需求
• 目的：提供更通用的策略优化框架，支持复杂约束和多目标优化
• 特点：支持多样化的约束形式和优化目标，强调理论完备性和灵活性

2. 共同点分析

2.1 理论基础

1. 都基于策略梯度，使用梯度上升优化策略，关注策略改进的单调性并重视样本效率
2. 都采用信任区域思想，限制策略更新幅度以保证训练稳定性并避免过大的策略变化
3. 都强调保守更新，使用近似策略比率控制策略偏离程度，平衡探索与利用的需求