McNemar检验用于比较两个模型的差异性,不能说明哪个模型更准确。
0假设是没有显著差异。检验统计量(p)是0假设发生的概率。
指定显著度为alpha。p>alpha,接受0假设,没有显著差异。反之拒绝。
p = (a-b)^2/(a+b)
a: 模型1预测正确,模型二预测错误 发生的次数
b: 模型1预测正确,模型二预测错误 发生的次数
要求:总共四种情况(a、b为其中的两种情况),每种情况发生的次数至少为25
McNemar 检验统计量符合自由度为1的卡方分布 (自由度为K的卡方分布为K个高斯分布的随机变量的平方和服从的分布)
http://www.atyun.com/25532.html
卡方分布:https://zh.wikipedia.org/wiki/%E5%8D%A1%E6%96%B9%E5%88%86%E4%BD%88
https://zhuanlan.zhihu.com/p/145780678