McNemar假设检验

McNemar检验用于比较两个模型的差异性,不能说明哪个模型更准确。

0假设是没有显著差异。检验统计量(p)是0假设发生的概率。
指定显著度为alpha。p>alpha,接受0假设,没有显著差异。反之拒绝。

p = (a-b)^2/(a+b)
a: 模型1预测正确,模型二预测错误 发生的次数
b: 模型1预测正确,模型二预测错误 发生的次数
要求:总共四种情况(a、b为其中的两种情况),每种情况发生的次数至少为25

McNemar 检验统计量符合自由度为1的卡方分布 (自由度为K的卡方分布为K个高斯分布的随机变量的平方和服从的分布)

http://www.atyun.com/25532.html
卡方分布:https://zh.wikipedia.org/wiki/%E5%8D%A1%E6%96%B9%E5%88%86%E4%BD%88
https://zhuanlan.zhihu.com/p/145780678

当前提供的引用内容并未涉及 McNemar 检验的相关概念或实现方法。然而,基于专业知识,可以提供关于 McNemar 检验的详细介绍。 ### McNemar 检验概述 McNemar 检验是一种用于分析配对二分类数据的统计检验方法,通常应用于医学研究、社会科学以及机器学习领域中的模型比较。它主要用于评估两种处理方法的结果是否存在显著差异。该检验假设样本是成对的,并且每一对观测值都属于两个类别之一[^4]。 #### 原理 McNemar 检验的核心思想是比较两组配对数据之间的不一致情况。具体来说,对于一组配对观察值 (A, B),其中 A 和 B 是两类结果,构建如下混淆矩阵: | | B=0 | B=1 | |---------------|-----------|----------| | **A=0** | a | b | | **A=1** | c | d | 在此基础上,计算 \(b\) 和 \(c\) 的差值是否具有统计学意义。\(b\) 表示 A 正确而 B 错误的情况数;\(c\) 则表示 A 错误而 B 正确的情况数。 #### 统计量定义 McNemar 检验的卡方统计量定义为: \[ \chi^2 = \frac{(b-c)^2}{b+c} \] 当 \(b + c > 25\) 时,可以直接使用上述公式近似正态分布;否则需应用连续性校正公式: \[ \chi^2 = \frac{(|b-c|-1)^2}{b+c} \] 最终通过查表或者编程工具获取对应的 p 值来判断是否有显著性差异。 --- ### Python 实现代码 以下是利用 `scipy` 库进行 McNemar 检验的一个简单例子: ```python from scipy.stats import chi2_contingency # 构造混淆矩阵 confusion_matrix = [[a, b], [c, d]] # 替换实际数值 # 进行卡方独立性检验 chi2, p_value, _, _ = chi2_contingency(confusion_matrix) print(f"Chi-square statistic: {chi2}") print(f"P-value: {p_value}") if p_value < 0.05: print("拒绝原假设:两者存在显著差异") else: print("接受原假设:两者无显著差异") ``` 注意,在某些情况下可能需要手动调整公式的细节以适应特定场景下的需求。 --- ### 关于 Null 的补充说明 虽然您提到 null,但在本问题中未直接关联到 McNemar 检验的应用上。不过可以从数据库角度理解 null 参与运算时的行为特点及其转换手段如 nvl(), coalesce() 函数等[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值