pytorch学习之注意力机制

原创

于 2020-02-19 20:30:43 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了PyTorch中两种常见的注意力机制——点积注意力和多层感知机注意力，详细阐述了它们的工作原理和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Attention 是一种通用的带权池化方法，输入由两部分构成：询问（query）和键值对（key-value pairs）。
在这里插入图片描述

不同的attetion layer的区别在于score函数的选择，两种常用的注意层 Dot-product Attention 和 Multilayer Perceptron Attention

点积注意力

在这里插入图片描述

class DotProductAttention(nn.Module): 
    def __init__(self, dropout, **kwargs):
        super(DotProductAttention, self).__init__(**kwargs)
        self.dropout = nn.Dropout(dropout)

    # query: (batch_size, #queries, d)
    # key: (batch_size, #kv_pairs, d)
    # va