小样本学习之原型网络

### 小样本学习中的原型网络 #### 1. 原型网络简介 原型网络是一种用于小样本学习的有效方法，其核心思想是通过计算类别的原型向量来完成分类任务。具体而言，在训练阶段，算法会从支持集（support set）中提取每种类别的特征表示，并将其平均化得到该类别的原型向量[^4]。 对于测试阶段的新样本，模型会计算它与各个类别原型之间的距离（通常采用欧氏距离），并将新样本分配给最近的原型所属的类别。 #### 2. 数学描述 假设我们有 $ N $ 类数据，每一类的数据集合为 $ S_i = \{x_{i,j}\}_{j=1}^{k} $ ，其中 $ k $ 表示每个类别的样例数。那么第 $ i $ 类的原型可以定义为： $$ c_i = \frac{1}{|S_i|} \sum_{x_j \in S_i} f(x_j) $$ 这里 $ f(\cdot) $ 是一个嵌入函数，通常是神经网络结构的一部分。最终，对于一个新的输入样本 $ x_q $，它的预测标签可以通过以下方式获得： $$ \hat{y}_q = \arg\min_i d(f(x_q), c_i) $$ 这里的 $ d(\cdot, \cdot) $ 可以选择不同的度量标准，比如欧式距离或者余弦相似度。 #### 3. 改进方向——原型补全网络 (ProtoComNet) 尽管传统的原型网络已经取得了不错的成果，但在某些情况下可能仍然存在不足之处。例如当某一类别的样本数量非常少时，仅依靠这些有限样本计算出来的原型可能会不够准确。因此，《Prototype Completion with Primitive Knowledge for Few-Shot Learning》提出了原型补全网络的概念[^3]。 此方法引入了一个额外的知识源——基础知识模块，用来辅助构建更鲁棒的类别表征。通过这种方式，即使面对极端稀疏的情况也能有效提升性能表现。 ```python import torch from torch import nn class ProtoNet(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(ProtoNet, self).__init__() self.encoder = nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, output_dim) ) def forward(self, support_set, query_set): # Extract features from the encoder network. proto_features = self.encoder(support_set).mean(dim=0) # Compute prototype by averaging embeddings of support samples. # Calculate distances between each query sample and prototypes. queries_embedded = self.encoder(query_set) dists = torch.cdist(proto_features.unsqueeze(0), queries_embedded) return -dists.squeeze() # Negative distance as logits. # Example usage: input_size = 784 # For MNIST-like data sets. hidden_layer_size = 512 output_embedding_size = 64 model = ProtoNet(input_size, hidden_layer_size, output_embedding_size) ``` 上述代码片段展示了一个简单的基于PyTorch框架实现的原型网络架构实例。 --- ###