【自然语言处理】Attention 讲解

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【自然语言处理】Seq2Seq 讲解

Attention Mechanism

注意力机制源于对人类视觉的研究，注意力是一种人类不可或缺的复杂认知功能，指人可以在关注一些信息的同时忽略其他信息的选择能力。注意力机制符合人类看图片的逻辑，当我们看一张图片时，往往并没有看清图片的全部内容，而是将注意力集中在图片的某个重要部分。重点关注部分，就是一般所说的注意力集中部分，而后对这一部分投入更多注意力资源，以获取更多所需要关注的目标的细节信息，忽略其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制。人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。深度学习中也应用了类似注意力机制的机制，从而极大提升了自然语言处理、语音识别、图像处理的效率和性能。

在实践中人们发现，EncoderDecoder（Seq2Seq）模型有一个严重的问题，即编码器部分与解码器部分之间只有一个向量 c c