Python实现卡方检验——检验相关性

### 卡方检验用于特征选择 在机器学习中，卡方检验是一种统计方法，用来评估分类变量之间的独立性。对于特征选择而言，该测试可以衡量类别型输入特征与目标变量间的依赖关系强度[^1]。 具体来说，在处理分类数据集时，通过计算每个特征相对于响应变量的卡方统计量来决定哪些特征应该被保留下来参与建模过程。较高的卡方值意味着更强的相关性，表明这些特征可能对预测模型有更大的贡献。 #### 实现步骤说明： 为了实现基于卡方检验的特征选择算法，通常会遵循如下流程： - 计算各个特征列与标签列之间对应的卡方统计量； - 对所有候选特征按照其关联程度排序； - 根据设定阈值或所需数量挑选出最重要的几个作为最终使用的特征子集； 下面是一个简单的 Python 示例代码片段展示如何利用 `sklearn` 库执行上述操作: ```python from sklearn.feature_selection import SelectKBest, chi2 import pandas as pd # 假设 df 是一个 Pandas DataFrame 类型的数据框， # X 表示要筛选的特征矩阵 (不包含 label 列), # y 表示样本的真实标记向量. X = df.drop('label', axis=1) y = df['label'] # 使用 SelectKBest 和 chi2 函数来进行 K 个最佳特征的选择, selector = SelectKBest(score_func=chi2, k='all') fit_result = selector.fit(X, y) # 获取得分最高的前 n 个特征索引位置并打印出来 top_n_features_indices = fit_result.scores_.argsort()[-n:][::-1] print(f"Top {n} selected features indices:", top_n_features_indices.tolist()) ``` 此段程序首先导入必要的库文件，接着定义了两个主要对象——待选特征集合 \(X\) 及相应的类标号序列 \(y\) 。之后创建了一个名为 `SelectKBest` 的实例，并指定了评分函数为 `chi2()` ，以及希望选出的最佳特征数目（这里设置成了全部）。最后调用了 `.fit()` 方法完成实际运算工作，并输出所得到的结果。