self-attention为什么要除以根号d_k

Self-attention的公式及参数量？为什么用多头？为什么要除以根号d？

会员中心 消息历史创作中心创作self-attention为什么要除以根号d_k想念@思恋已于 2023-10-26 20:55:40 修改阅读量2.3w 收藏 71点赞数 52分类专栏： python编程 文章标签： 概率论 深度学习 机器学习版权GitCode 开源社区文章已被社区收录加入社区python编程专栏收录该内容139 篇文章订阅专栏self-attention的公式为a t t e n t i o n ( Q , K , V ) = S o f t m a x ( Q K d k ) V attention(Q,K,V)=Softmax( \frac{QK}{\sqrt{d_{k}}})Vattention(Q,K,V)=Softmax( d k​ ​ QK​ )V个人理解，除以d k \sqrt{d_{k}} d k​ ​ 的原因有两点：d k d_{k}d k​ 是词向量/隐藏层的维度1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0；2、选择根号d_k是因为可以使得q*k的结果满足期望为0，方差为1的分布，类似于归一化。公式分析，首先假设q和k都是服从期望为0，方差为1的独立的随机变量。Assume：X = q i X=q_{i}X=q i​ ，Y = k i Y=k_{i}Y=k i​ ，那么：1、E ( X Y ) = E ( X ) E ( Y ) = 0 ∗ 0 = 0 E(XY)=E(X)E(Y)=0*0=0E(XY)=E(X)E(Y)=0∗0=02、D ( X Y ) = E ( X 2 Y 2 ) − [ E ( X Y ) ] 2 D(XY)=E(X^{2}Y^{2})-[E(XY)]^{2}D(XY)=E(X 2 Y 2 )−[E(XY)] 2       = E ( X 2 ) E ( Y 2 ) − [ E ( X ) E ( Y ) ] 2 =E(X^{2})E(Y^{2})-[E(X)E(Y)]^{2}=E(X 2 )E(Y 2 )−[E(X)E(Y)] 2       = E ( X 2 − 0 2 ) E ( Y 2 − 0 2 ) − [ E ( X ) E ( Y ) ] 2 =E(X^{2}-0^{2})E(Y^{2}-0^{2})-[E(X)E(Y)]^{2}=E(X 2 −0 2 )E(Y 2 −0 2 )−[E(X)E(Y)] 2       = E ( X 2 − [ E ( X ) ] 2 ) E ( Y 2 − [ E ( Y ) ] 2 ) − [ E ( X ) E ( Y ) ] 2 =E(X^{2}-[E(X)]^{2})E(Y^{2}-[E(Y)]^{2})-[E(X)E(Y)]^{2}=E(X 2 −[E(X)] 2 )E(Y 2 −[E(Y)] 2 )−[E(X)E(Y)] 2       = [ E ( X 2 ) − [ E ( X ) ] 2 ] [ E ( Y 2 ) − [ E ( Y ) ] 2 ] − [ E ( X ) E ( Y ) ] 2 =[E(X^{2})-[E(X)]^{2}][E(Y^{2})-[E(Y)]^{2}]-[E(X)E(Y)]^{2}=[E(X 2 )−[E(X)] 2 ][E(Y 2 )−[E(Y)] 2 ]−[E(X)E(Y)] 2       = D ( X ) D ( Y ) − [ E ( X ) E ( Y ) ] 2 =D(X)D(Y)-[E(X)E(Y)]^{2}=D(X)D(Y)−[E(X)E(Y)] 2       = 1 ∗ 1 − 0 ∗ 0 =1*1-0*0=1∗1−0∗0      = 1 =1=1