机器学习西瓜书 --- 评估方法或数据集划分方法

评估的方法

• 留出法 hold-out

• • 直接将数据集划分为两个互斥的集合，其中一个集合留作训练集合S，另一个作为测试集合T。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的评估。

  • 分层采样

  • • 保留类别的采样称为分层采样。

• 交叉验证法 cross validation

• • 先将数据集D划分为K个大小相似的互斥子集。每个子集D(i)都保持数据分布的一致性，即从D中通过分层采样得到，然后每次用到 k - 1 个子集的并集作为训练集，余下的那个子集作为测试集，这样就可以获得k个训练机/测试集，从而进行K次训练和测试，最终返回的是这K个测试结果的均值。显然，交叉验证法评估结果的稳定性和保真性在很大程度上取决于K的取值，为强调这一点，通常把交叉验证法称为“K折交叉验证”。假设数据集D中包含m个样本，若另k = m，则得到了交叉验证法的一个特例，留一法（Leave-One-Out）.

  • 缺点开销比较大。

• 自助法 boostrapping

• • 直接以自主采样法（Boostsrap sampling）