Transformer，Transformer组会PPT

Transformer模型中的Self-Attention机制 在Transformer模型中，Self-Attention机制是其核心组件之一。Self-Attention机制允许模型关注输入序列中的不同部分，并学习到这些部分之间的关系。这种机制可以更好地处理序列长距离依赖问题，並具有并行计算能力。 在Self-Attention机制中，输入序列被转换为三个向量：Query（Q），Key（K）和Value（V）。Query向量代表要被关注的对象，Key向量代表关注的关键信息，Value向量代表关注的值。Self-Attention机制通过计算Query和Key之间的相似度，来确定关注的权重，然后将权重应用于Value向量，以获取最终的输出。 Self-Attention机制的计算过程可以分为三步： 第一步：计算Query和Key之间的相似度。这一步骤使用点积模型来计算相似度，公式为α(q, ki) = softmax(q * kT)。 第二步：将相似度进行softmax操作，以获取归一化的权重。softmax函数可以将权重约束在0到1之间，并使得权重之和为1。 第三步：将权重应用于Value向量，以获取最终的输出。公式为F(q) = α(q, k1) * v1 + α(q, k2) * v2 + …。 在实际应用中，Self-Attention机制可以用于解决序列长距离依赖问题，並具有并行计算能力。但是，Self-Attention机制也存在一些缺陷，如梯度消失问题。当输入数据很大时，softmax函数可能会将权重分配到大数上面，导致梯度消失。 为了解决这个问题，可以使用不同的方法，如使用Multi-Head Attention机制或Layer Normalization技术。Multi-Head Attention机制可以将输入数据拆分为多个头，并使用不同的权重计算相似度。Layer Normalization技术可以将输入数据归一化，以减少梯度消失问题。 Self-Attention机制是Transformer模型的核心组件之一，能够学习到序列长距离依赖关系，並具有并行计算能力。但是，Self-Attention机制也存在一些缺陷，需要使用不同的方法来解决这些问题。