【2025CVPR】SEC-Prompt：少样本增量学习中的语义互补提示模型详解

目录

一、研究背景：少样本增量学习的挑战

二、SEC-Prompt核心原理

1. 自适应层次化查询（Adaptive Hierarchical Query）

2. 语义互补提示机制

（1）判别性提示（D-Prompt）

（2）非判别性提示（ND-Prompt）

3. 训练策略创新

（1）判别性提示聚类损失

（2）ND-Prompt数据增强

三、模型架构图解

四、关键创新点

五、实验结果对比

1. ImageNet-R结果

2. CUB200结果

3. CIFAR100结果

六、代码实现要点

核心代码片段

训练流程

七、消融实验分析

八、总结与展望

一、研究背景：少样本增量学习的挑战

在现实世界的AI应用中（如工业缺陷检测、医疗影像识别），模型需要不断学习新类别的知识，但新类别往往仅有少量标注样本。传统的增量学习方法面临两大难题：

1. ​灾难性遗忘​：学习新类别时会覆盖旧类别的知识
2. ​过拟合风险​：少量样本容易导致模型对噪声敏感

现有方法如L2P、DualP等基于提示的持续学习方法，通过固定骨干网络参数来缓解遗忘，但在少样本场景下存在以下缺陷：

• 未区分语义特征类型，导致稳定性-可塑性失衡
• 单一注意力机制无法有效分离判别性与非判别性特征
• 数据增强手段单一，难以生成多样化样本

二、SEC-Prompt核心原理

本文提出语义互补提示框架（SEC-Prompt）​，通过模仿人类选择性注意机制，将任务知识分解为判别性特征与非判别性特征进行协同学习。

1. 自适应层次化查询（Adaptive Hierarchical Query）

传统方法使用固定查询（如ViT的[class] token），而SEC-Prompt通过分层查询动态适应特征抽象层次：

qi+1​(x)=Layeri​([pi​,hi​])[0]

其中pi​为第i层的提示，hi​为输入特征，通过逐层传递实现特征抽象级别的动态适配。

2. 语义互补提示机制

（1）判别性提示（D-Prompt）

采用注意力机制增强关键判别特征：

αDj​=∑k​eαDk​eαDj​​

通过Softmax加权聚合提示，强化类内特征分离：

pD​(x)=j=1∑M​αDj​⋅Pj

（2）非判别性提示（ND-Prompt）

使用反向注意力机制捕捉非判别特征：

αNDj​=max(0,−γ(q(x)⊙ANDj​,KNDj​))

通过ReLU截断负权重，保留非判别信息：

pND​(x)=j=1∑M​αNDj​⋅Pj

3. 训练策略创新

（1）判别性提示聚类损失

LPC​(x,y)=2N1​i=1∑N​j=1∑N​(1−γ(pD​(xi​),pD​(xj​)))⋅I(yi​=yj​)

强制同类样本的判别特征对齐，减少噪声干扰。

（2）ND-Prompt数据增强

通过高斯扰动生成多样化样本：

α~ND​=αND​+N(0,1)

增加训练样本多样性，缓解过拟合。