多保真度优化中的效用与成本平衡

# 多保真度优化中的效用与成本平衡 ## 1. 多保真度GP模型中的相关性值 在多保真度优化问题中，多保真度GP模型具有一定的灵活性。同时，确保保真度张量中具有正确的相关性值也非常重要。通过对比相关示例中的两个面板可以发现，两个保真度之间的相关性值设为0.5比设为0.9更好： - 当相关性值为0.9时（右面板情况），由于过度依赖和信任低保真度观测值，预测结果在大部分空间中都偏离了真实目标函数$f(x)$。 - 当相关性值为0.5时（左面板情况），95%置信区间会适当变宽，反映出对$f(x)$的不确定性。 这表明，在实际应用中，我们不应高估低保真度近似$f̅(x)$对目标函数$f(x)$的信息提供能力。 ## 2. 多保真度优化中的信息与成本平衡 ### 2.1 不同保真度查询成本建模 在多保真度优化问题中，我们通常已知查询目标函数$f(x)$或低保真度近似$f̅(x)$的成本。为了便于模块化优化工作流程，需要将这些查询成本信息表示为成本模型。该模型接收一个给定的数据点（包含额外的相关性值特征），并返回在指定保真度下查询该数据点的已知成本。 BoTorch提供了一个名为`AffineFidelityCostModel`的线性成本模型类，该模型假设查询成本与保真度和真实目标$f(x)$之间的相关性呈线性关系，且每次查询都有一个固定成本。以下是初始化该线性成本模型的代码示例： ```python from botorch.models.cost import AffineFidelityCostModel cost_model = AffineFidelityCostModel( fixed_cost=0.0, fidelity_weights={1: 1.0}, ) ``` 在上述代码中，我们将固定成本设为0，权重设为1。这意味着查询低保真度数据点的成本恰好是低保真度近似的相关性值（这里为0.5个成本单位），查询高保真度数据点的成本为1个成本单位。需要注意的是，成本单位取决于具体应用，可由用户根据实际情况（如时间、金钱或努力程度等）进行设置。 线性趋势能够捕捉相关性值与成本之间的关系：高相关性的高保真度函数查询成本较高，而低保真度函数的查询成本较低。通过调整固定成本和权重这两个可设置参数，我们可以灵活地建模多种类型的查询成本。 如果实际应用需要对查询成本进行非线性建模（如二次或指数趋势），可以自行实现自定义成本模型。 ### 2.2 优化每美元信息获取量以指导优化 在多保真度优化中，我们需要平衡查询函数所获得的信息量和查询成本。高保真度函数能提供关于目标函数$f(x)$的精确信息，但查询成本较高；而低保真度近似的评估成本较低，但只能提供关于$f(x)$的不精确信息。因此，需要一个多保真度贝叶斯优化（BayesOpt）策略来决定如何平衡这两者。 我们已经有了计算任何给定数据点查询成本的模型，接下来需要一种方法来量化从给定查询（可以是目标函数$f(x)$本身或低保真度近似$f̅(x)$）中能获得多少关于目标函数的信息。这里我们使用最大价值熵搜索（Max-value Entropy Search，MES）策略来计算每次查询在优化过程中获得的关于$f(x)$最优值的信息量。 为了量化查询的成本感知效用，我们引入了经济学中常用的投资回报率（Return on Investment，ROI）指标。在多保真度优化的背景下，ROI得分的计算公式为： \[ROI\ score = \frac{information\ gain}{querying\ cost}\] 其中，信息增益由MES策略计算，查询成本由成本模型计算。 通过ROI得分，我们可以对不同查询进行评估： - 如果两个查询成本相同但信息增益不同，应选择信息增益更多的查询。 - 如果两个查询提供的关于目标函数最优值的信息量相同，应选择成本更低的查询。 这种权衡使得我们可以在低保真度近似具有足够信息量时，从低成本的低保真度近似中获取关于目标函数$f(x)$的信息；而当低保真度查询不再提供有用信息时，切换到高保真度数据点。 以下是实现成本感知的多保真度MES策略的具体步骤和代码： 1. **创建成本效用对象**：使用`InverseCostWeightedUtility`类实现，该类根据查询成本的倒数对查询的效用进行加权。 ```python from botorch.acquisition.cost_aware import InverseCostWeightedUtility cost_aware_utility = InverseCostWeightedUtility(cost_model=cost_ ```