基于成对比较和偏好优化的学习

### 基于成对比较和偏好优化的学习 在实际应用中，获取用户对物品的偏好信息是很重要的。与让用户给出数值评分相比，让用户对两个物品进行比较往往能得到更符合其真实偏好的反馈，因为这种方式对用户的认知要求更低。不过，成对比较所包含的信息比数值评估要少，所以在选择这两种偏好获取方法时，需要在减轻用户认知负担和获取信息之间进行权衡。下面我们将详细探讨如何利用成对比较进行偏好学习和优化。 #### 1. 处理相似数据点 在训练基于偏好的高斯过程（GP）时，非常相似的数据点可能会导致训练在数值上不稳定。为了解决这个问题，我们可以标记这些相似的数据点，将它们视为重复项，并移除其中一个。以下是具体的代码实现： ```python n_dups = 0 dup_ind = torch.where( torch.all(torch.isclose(x_train, x_next[0], ➥atol=tol), axis=1) )[0] if dup_ind.nelement() == 0: new_x_train = torch.cat([x_train, x_next[0] ➥.unsqueeze(-2)]) else: new_comp_next = torch.where( new_comp_next == n, dup_ind, new_comp_next - 1 ) n_dups += 1 dup_ind = torch.where( torch.all(torch.isclose(new_x_train, x_next[1], ➥atol=tol), axis=1) )[0] if dup_ind.nelement() == 0: new_x_train = torch.cat([new_x_train, x_next[1] ➥.unsqueeze(-2)]) else: new_comp_next = torch.where( new_comp_next == n + 1 - n_dups, dup_ind, ➥new_comp_next ) new_comp_train = torch.cat([comp_train, ➥new_comp_next]) return new_x_train, new_comp_train ``` 上述代码的执行流程如下： 1. 检查新数据对中第一个数据点是否有重复项。 - 如果没有重复项，将该数据点添加到训练数据集中。 - 如果有重复项，记录重复项的索引。 2. 检查新数据对中第二个数据点是否有重复项。 - 如果没有重复项，将该数据点添加到训练数据集中。 - 如果有重复项，记录重复项的索引。 3. 返回更新后的训练数据集。 #### 2. 训练基于偏好的高斯过程（GP） 在当前设置下，观测数据以成对比较的形式出现。当基于这种基于偏好的数据对 GP 进行条件设定时，其后续形式不再是 GP，这使得我们之前开发的许多依赖于预测模型为 GP 的方法不再适用。但我们可以通过近似方法来训练 GP，以找到具有最高数据似然性的 GP。具体步骤如下： 1. **导入必要的类和辅助函数**： ```python f ```