数据处理——异常值检测

### Kettle 中处理异常值的方法 #### 处理异常值概述 在数据清洗过程中，异常值（即离群点）是指那些明显偏离其他观测值的数据点。这些异常值可能会影响数据分析的结果准确性，因此需要对其进行适当处理。 #### 基于统计学的阈值检测 Kettle 提供了基于统计学的阈值检测方法来识别异常值。通过设定上下限阈值，可以筛选出超出正常范围的数据点[^1]。 ```sql SELECT * FROM your_table WHERE column_name < lower_threshold OR column_name > upper_threshold; ``` #### 使用聚类算法识别异常点 除了简单的阈值检测外，Kettle 还支持更复杂的基于聚类的异常点识别技术。这种方法能够自动发现数据集中不符合整体模式的数据点。 #### 删除包含异常值的记录 对于某些情况下的异常值，最简单直接的方式就是将其对应的整条记录删除。这可以通过配置过滤记录控件实现： 1. **创建转换** 2. **配置文本文件输入控件**：设置合适的分隔符（如 TAB） 3. **获取字段信息** 4. **配置过滤记录控件**：定义具体的过滤条件以移除含有异常值的行 5. **运行转换** 例如，在 `interpolation_data` 表中删除身高不在合理区间内的记录： ```sql DELETE FROM interpolation_data WHERE Height NOT BETWEEN 114 AND 226; ``` #### 替换异常值 有时并不希望完全丢弃带有异常值的数据项而是采取修正措施。此时可以选择用特定数值替代异常值或将它们设为空值后再做进一步处理。 ##### 示例一：固定值替换 当知道某个属性存在固定的默认值时可以直接赋给它。 ```sql UPDATE interpolation_data SET Height = COALESCE(Height, 170); ``` ##### 示例二：均值/中位数填充 如果想要保持原始分布特性，则可以用该列平均值或中位数代替缺失部分。 ```python import pandas as pd df[&#39;Height&#39;] = df[&#39;Height&#39;].fillna(df[&#39;Height&#39;].median()) ```