应用优化框架与工作流完成研究

### 应用优化框架与工作流完成研究 #### 应用优化框架 在应用优化框架中，智能代理（控制器）之间可以相互协商，而非采用以自我为中心的投标策略。每个代理将其问题空间建模为图，其中机场、导航点、交叉点或导航辅助设施被视为节点，航线部分则表示为节点之间的边。边的权重取决于特定的局部目标，例如，如果飞机的局部目标是最小化燃油消耗，边的权重可以表示穿越该边估计消耗的燃油量。 由于代理可能有多个目标的组合，因此需要确定一个考虑每个目标的边权重公式。权重可以根据单个目标确定，也可以通过组合多个目标来确定，同时考虑每个局部目标对代理的重要性。确定权重后，就可以找到最优解。每个代理会对其局部目标的重要性进行排序，这有助于明确定义特定解决方案在领域空间中的效用。代理可以创建一个函数来确定其自身局部图表示中操作环境的权重，该函数还会反映情况的动态性质，如天气会影响航线段的飞行时间，且会随时间变化。 当代理无法获取最优解决方案所需的资源而不得不退而求其次选择次优解决方案时，同时优化多个局部目标的能力就变得至关重要。在市场阶段，可以选择任何局部目标的组合。权重也可以根据全局效率来确定，以便贪婪的代理通过执行其正常的局部优化任务找到全局最优解决方案，但在非常大的环境中这可能无法实现。 在 GOALS 框架内，允许并行市场的存在。此外，领域中可能有数千个代理，因此任何一个代理都不可能了解世界的所有状态。例如，代表从波士顿飞往芝加哥的飞机的代理无需了解洛杉矶附近的空中交通状况，但这些状况可能间接影响全局状态，使局部最优解决方案无法成为全局最优。 ##### 代理类型 - **BDI 代理**：BDI 代理有指导其行为的“心理态度”，包括信念、愿望和意图。信念代表代理对当前环境的信息，愿望代表代理的目标，如构成最优解决方案的因素，意图代表代理根据其对环境的信念采取行动以实现愿望的方法。 - **POMDPs**：使用 POMDP 的代理使用马尔可夫决策过程（MDP）对其环境进行建模。MDP 由一组世界状态和一组行动组成，有一个状态转移函数描述在采取特定行动时从任何特定状态可达到的状态，还有一个奖励函数描述在特定状态下采取特定行动的预期即时奖励。实际奖励会影响未来的决策活动，代理的行动是为了最大化长期奖励的预期值。“部分可观测性”指代理无法完全可靠地确定其当前状态，因此在代理的行为中加入随机性以补偿状态的不确定性。POMDP 由 MDP、代理可以对其世界进行的一组可能观察以及一个产生可能观察的概率分布的观察函数组成。 - **分布式约束优化（DCO）**：DCO 与为代理选择的方法类似。每个代理被分配一个不同的重叠子问题，使用 DCO 的代理首先为其分配的子问题找到局部最优解决方案，然后与其他代理交互以找到全局最优解决方案。在实际实现中，不进行代理之间的局部视图交换，也不施加额外约束，代理之间不直接交互。如果市场中所需资源不可用，局部代理会退而求其次选择局部次优解决方案。选择这种方法是因为需要代理能够在市场中学习最优策略，并允许代理具有一定程度的局部自主性，随着时间和实践，找到的全局解决方案会更好。未来计划将 DCO 与 BDI 行为相结合，使代理随着时间学习最优市场策略。 - **现有基线代理框架**：目前存在几种标准代理框架，可使 GOALS 框架与其他系统互操作。智能物理代理基金会（FIPA）发布了一个标准，使不同框架的代理能够相互通信。研究过的代理框架包括 IBM 的代理构建和学习环境（ABLE）、Java 代理开发框架（JADE）、Cougaar 和 Cybele。ABLE、JADE 和 Cougaar 都可在公共领域获取。Cybele 是雷神公司空域概念评估系统（ACES）的基础，计划将优化框架和空中交通管理应用集成到 ACES 中，以对更大的数据集进行进一步评估。由于 Cybele 在 ACES 中的应用，选择了它，同时选择 ABLE 作为第二种代理类型，因为它符合 FIPA 标准，可作为 Java 库使用，且便于快速实现。JADE 也符合 FIPA 标准，未来可能会为其实现一个适配器。美国国防高级研究计划局（DARPA）过去使用过 Cougaar