时间序列异常检测（adtk）

最新推荐文章于 2025-07-25 13:26:37 发布

原创

最新推荐文章于 2025-07-25 13:26:37 发布 · 3.5k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#python #时间序列 #异常检测

本文介绍了adtk库中多种时间序列异常检测方法，包括阈值检测、分位数检测、四分位数范围检测、广义ESD检测、滑动窗口分位数检测、水平移位检测、波动率转换检测、自回归检测、最小集群检测、离群点检测、季节性检测、回归检测、PCA检测。每种方法的原理、参数和应用场景进行了详细阐述。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 获取时间序列数据

未安装adtk的先安装：pip install adtk

2.阈值检测

adtk.detector.ThresholdAD(low=None, high=None)

参数：

low：下限，小于此值，视为异常

high：上限，大于此值，视为异常

原理：通过认为设定上下限来识别异常

总结：固定阈值算法

from adtk.detector import ThresholdAD
from adtk.visualization import plot
threshold_ad = ThresholdAD(high=750, low=200)
anomalies = threshold_ad.detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

3.分位数检测

adtk.detector.QuantileAD(low=None, high=None)

参数：

low：分位下限，范围(0,1)，当low=0.25时，表示Q1

high：分位上限，范围(0,1)，当high=0.75时，表示Q3

原理：通过历史数据计算出给定low与high对应的分位值Q_low,Q_high，小于Q_low或大于Q_high，视为异常

总结：分位阈值算法

from adtk.detector import QuantileAD
from adtk.visualization import plot
quantile_ad = QuantileAD(high=0.98, low=0.02)
anomalies = quantile_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

4.四分位数范围检测

adtk.detector.InterQuartileRangeAD(c=3.0)

InterQuartileRangeAD另一个广泛使用的基于简单历史统计的检测器是基于四分位距 (IQR)。当值超出定义的范围时[Q1−c×IQR, Q3+c×IQR] 在哪里 IQR=Q3−Q1是 25% 和 75% 分位数之间的差异。在只有一小部分甚至没有训练数据异常的情况下，此检测器通常优于 QuantileAD。

参数：

c：分位距的系数，用来确定上下限，可为float，也可为(float,float)

原理：当c为float时，通过历史数据计算出 Q3+cIQR 作为上限值，大于上限值视为异常当c=(float1,float2)时，通过历史数据计算出 (Q1-c1IQR, Q3+c2*IQR) 作为正常范围，不在正常范围视为异常

总结：箱线图算法

from adtk.detector import InterQuartileRangeAD
from adtk.visualization import plot
iqr_ad = InterQuartileRangeAD(c=2)
anomalies = iqr_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

5.广义ESD检测

adtk.detector.GeneralizedESDTestAD(alpha=0.05)

请注意，广义 ESD 测试的一个关键假设是正态值服从近似正态分布。请仅在此假设成立时使用此检测器。

参数：

alpha：显著性水平 (Significance level)，alpha越小，表示识别出的异常约有把握是真异常原理:将样本点的值与样本的均值作差后除以样本标准差，取最大值，通过t分布计算阈值，对比阈值确定异常点计算步骤简述：

设置显著水平alpha，通常取0.05 指定离群比例h，若h=5%，则表示50各样本中存在离群点数为2 计算数据集的均值mu与标准差sigma，将所有样本与均值作差，取绝对值，再除以标准差，找出最大值，得到esd_1 在剩下的样本点中，重复步骤3，可以得到h个esd值为每个esd值计算critical value: lambda_i (采用t分布计算) 统计每个esd是否大于lambda_i，大于的认为你是异常

先检测数据是否服从正态分布

from scipy.stats import kstest
# 正态分布检验
def KsNormDetect(df):
    u = df['y'].mean()                     # 计算均值
    std = df['y'].std()                    # 计算标准差
    res=kstest(df, 'norm', (u, std))[1]    # 计算P值
    if res<=0.05:           # 判断p值是否服从正态分布，p<=0.05 则服从正态分布，否则不服从。
        print('该列数据服从正态分布------------')
        print('均值为：%.3f，标准差为：%.3f' % (u, std))
        return 1
    else:
        return 0

该列数据服从正态分布------------
均值为：537.113，标准差为：94.769

from adtk.detector import GeneralizedESDTestAD
from adtk.visualization import plot
esd_ad = GeneralizedESDTestAD(alpha=0.01)
anomalies = esd_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

6. 滑动窗口分位数检测

adtk.detector.PersistAD(window=1, c=3.0, side=‘both’, min_periods=None, agg=‘median’)

PersistAD将每个时间序列值与其先前的值进行比较。在内部，它被实现为带有转换器DoubleRollingAggregate的管道网络。

参数：

window：参考窗长度，可为int, str
c：分位距倍数，用于确定上下限范围
side：检测范围，为’positive’时检测突增，为’negative’时检测突降，为’both’时突增突降都检测
min_periods：参考窗中最小个数，小于此个数将会报异常，默认为None，表示每个时间点都得有值
agg：参考窗中的统计量计算方式，因为当前值是与参考窗中产生的统计量作比较，所以得将参考窗中的数据计算成统计量，默认’median’，表示去参考窗的中位值
原理：

用滑动窗口遍历历史数据，将窗口后的一位数据与参考窗中的统计量做差，得到一个新的时间序列s1;
计算s1的(Q1-cIQR, Q3+cIQR) 作为正常范围；
若当前值与它参考窗中的统计量之差，不在2中的正常范围内，视为异常。
调参：

window：越大，模型越不敏感，不容易被突刺干扰
c：越大，对于波动大的数据，正常范围放大较大，对于波动较小的数据，正常范围放大较小
min_periods：对缺失值的容忍程度，越大，越不允许有太多的缺失值
agg：统计量的聚合方式，跟统计量的特性有关，如 'median’不容易受极端值影响
总结：先计算一条新的时间序列，再用箱线图作异常检测

from adtk.detector import PersistAD
from adtk.visualization import plot
#捕捉短期异常
persist_ad = PersistAD(c=3, side='both',window=2,)
anomalies = persist_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

7.水平移位检测

adtk.detector.LevelShiftAD(window, c=6.0, side=‘both’, min_periods=None)

LevelShiftAD通过跟踪彼此相邻的两个滑动时间窗口的中值之间的差异来检测值水平的变化。它对瞬时尖峰不敏感，如果经常发生嘈杂的异常值，它可能是一个不错的选择。在内部，它被实现为带有转换器DoubleRollingAggregate的管道网络。

参数：

window：支持(10,5)，表示使用两个相邻的滑动窗，左侧的窗中的中位值表示参考值，右侧窗中的中位值表示当前值

c：越大，对于波动大的数据，正常范围放大较大，对于波动较小的数据，正常范围放大较小，默认6.0

side：检测范围，为’positive’时检测突增，为