交叉注意力+特征融合神操作，登上Nature！计算速度狂提300%！

### 交叉注意力（Cross-Attention）的原理 交叉注意力是一种用于捕捉两个不同序列之间依赖关系的机制。它通过在查询（Query）、键（Key）和值（Value）三者间建立联系，使得模型可以动态关注另一个序列的相关部分[^3]。 具体来说，在交叉注意力中： - 查询（Query, Q）通常来自目标序列。 - 键（Key, K）和值（Value, V）则来源于源序列。 - 计算过程基于点积相似度，即 \( \text{Attention}(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \)，其中 \( d_k \) 表示 Key 的维度大小。 这种设计让模型能够在翻译任务、问答系统以及多模态学习等领域有效工作，因为它能聚焦于另一序列中最相关的部分[^1]。 --- ### 交叉注意力代码实现 以下是 Python 中使用 PyTorch 实现的一个简单版本： ```python import torch import torch.nn as nn import math class CrossAttention(nn.Module): def __init__(self, dim_model, num_heads=8, dropout=0.1): super(CrossAttention, self).__init__() assert dim_model % num_heads == 0, "dim_model must be divisible by num_heads" self.num_heads = num_heads self.dim_head = dim_model // num_heads # 定义线性变换层 self.query_projection = nn.Linear(dim_model, dim_model) self.key_projection = nn.Linear(dim_model, dim_model) self.value_projection = nn.Linear(dim_model, dim_model) self.output_projection = nn.Linear(dim_model, dim_model) self.dropout = nn.Dropout(dropout) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # 投影到多头空间 (B, L_q, D) -> (B, H, L_q, D/H) queries = self.query_projection(query).view(batch_size, -1, self.num_heads, self.dim_head).transpose(1, 2) keys = self.key_projection(key).view(batch_size, -1, self.num_heads, self.dim_head).transpose(1, 2) values = self.value_projection(value).view(batch_size, -1, self.num_heads, self.dim_head).transpose(1, 2) # 缩放点积注意力计算 scores = torch.matmul(queries, keys.transpose(-2, -1)) / math.sqrt(self.dim_head) if mask is not None: scores = scores.masked_fill(mask == 0, float('-inf')) attention_weights = torch.softmax(scores, dim=-1) attention_weights = self.dropout(attention_weights) context_vectors = torch.matmul(attention_weights, values) # 合并多头结果 (B, H, L_q, D/H) -> (B, L_q, D) context_vectors = context_vectors.transpose(1, 2).contiguous().view(batch_size, -1, self.num_heads * self.dim_head) output = self.output_projection(context_vectors) return output, attention_weights ``` #### 代码说明 1. **初始化参数** `dim_model` 是模型隐藏层的总维度；`num_heads` 控制多头的数量；`dropout` 提供正则化效果以防止过拟合。 2. **投影操作** 使用三个独立的全连接网络分别对 Query、Key 和 Value 进行线性映射，随后将其分割成多个头部以便后续计算[^3]。 3. **缩放点积注意力** 对 Query 和 Key 执行矩阵乘法后除以根号下的维度因子 (\( \sqrt{d_k} \)) 来稳定梯度传播，并应用 Softmax 函数得到权重分布。 4. **掩码处理** 如果存在遮蔽需求，则可以通过设置 `mask` 参数屏蔽掉不需要的部分。 5. **输出转换** 将加权求和后的 Context Vector 转回原始形状并通过最终一层线性变化获得输出向量。 --- ### 应用场景与发展 交叉注意力广泛应用于自然语言处理领域内的机器翻译、摘要生成等任务之中。此外，在视觉与文本相结合的任务里也发挥着重要作用，比如图文检索或者视频描述生成等问题均受益于此技术进步带来的性能提升[^1]。 ---