JamesSwifte的博客

经过前面的学习，我们已经学完了transformer模型的各个组成部分以及实现代码，最后也实现了模型的创建，接下来我们用一个任务来测试一下模型，看它是否能将规律学到。任务描述：针对数字序列进行学习，学习的最终目标是使输出与输入的序列相同，如输入[1,5,8,5,6]输出也是[1,5,8,5,6]任务意义：copy任务在模型基础测试中具有重要意义，因为copy操作对于模型来讲是一条明显的规律，因此模型能否在短时间内，小数据集中学会它，可以帮助我们断定模型的所有过程是否正常，是否已具备基本的学习能力。

前面一节我们学习了输出部分组成部分（线形层+softmax），以及代码实现，接下来万事俱备，我们可以来构建模型。

前一节我们学习了解码器层的各个组成部分（3个子层结构：多头自注意力机制+规范化层+残差连接；多头注意力机制+规范化层+残差连接；前馈神经网络+规范化层+残差连接），解码器以及它们的实现代码。

前面一节中，我们了解了编码器层，编码器的组成以及代码实现。接下来我们学习解码器的知识，解码器和编码器在组成组件部分是大致一样的。

在前面一节中，我们学习了前馈全连接层，来弥补注意力机制对于复杂过程的拟合程度不够；规范化层，这是一个深度学习网络的标准层，特征数值经过多层网络，数值会变得很大或很小，影响模型的效果，经过标准化处理，有利于模型收敛；子层连接结构，经过残差连接（跳跃连接）来增强特征。

我们之前学习了输入层（词嵌入层（经过词向量编码），位置编码（通过词位置信息向量和词特征矩阵得到））。注意力机制（注意力计算规则，自注意力和注意力区别，注意力机制，多头注意力机制）在transformer中前馈全连接层就是具有两层线性层的全连接网络输入到每个子层以及规范化层的过程中，还使用了残差链接（跳跃链接），我们把这一部分结构叫做子层连接结构（代表子层及其链接结构），在每个编码器层，都有两个子层，这两个子层加上周围的链接结构形成了两个子层链接结构。

在之前的小节中我们学习了词嵌入层（词向量编码）以及加入了位置编码的输入层的概念和代码实现的学习。在本小节中我们将学习transformer中最重要的部分-注意力机制张量尺寸不定，里面只有(0，1)元素，代表位置被遮掩或者不遮掩，它的作用就是让另外一张张量中的一些数值被遮掩，被替换，表现形式是一个张量。在图中，我们可以看到，有一组Linear层进行线性变换，变换前后的维度不变，就当是一个方阵的张量，每个张量的值不同，那么变化后的结果也不同，特征就丰富起来了。

位置编码器（Positional Encoding）的作用：因为在transformer的编码器结构中并没有针对词汇向量位置信息的处理，因此需要在Embedding层后加入位置编码器，将词汇的位置不同 可能产生不同语义的信息加入到词嵌入张量中，以弥补位置信息的缺失。文本（词向量）嵌入层的作用：将文本词汇（其他数据）的数字表征转变成为向量表示。经过Embedding层将每个数字都转换成为512维的向量。掌握文本（词向量）嵌入层和位置编码器的实现过程。了解文本（词向量）嵌入层和位置编码器的作用。

解码器部分：由N个解码器层堆叠而成，每个编码器层有三个子层：（多头自注意力，规范化层，残差连接）（多头注意力，规范化层，残差连接）（前馈全连接层，规范化层，残差连接）编码器部分：由N个编码器层堆叠而成，每个编码器层有两个子层：（多头自注意力，规范化层，残差连接）（前馈全连接层，规范化层，残差连接）输入：Input Embedding输入的源数据词向量编码，Output Embedding输入的目标数据词向量编码。本节的学习目标是了解transformer模型的作用。

使用pycharm创建项目，flak_project，内含:static文件夹用来存储网页渲染等静态文件，templates文件夹用来存储网页代码（使用jinja2模板）flask实现操作数据库，发布网页，实现机器学习，数据分析的功能，前后端不分离。创建config.py用来实现数据库等配置，exts.py用来解决循环引用的问题,models.py用来实现模板的创建。蓝图注册，任何页面的都可以抽象出来，放在蓝图，咱们这边有两个蓝图，注册登录auth.py,登录之后的蓝图query.py。

注意每个网页上方都有导航条，大家可以使用jinja2的继承功能，写一个base.html,其他网页都可以继承这个网页，在其上面扩展。使用render_template来渲染，注意这里的前端网页使用jinja2模板。验证前端输入的邮箱密码是否输入正确，增加一个forms.py。制作一个邮箱服务器，我们这里使用QQ邮箱。再创建一个邮箱的模板，进行数据库交互。在config.py中完成配置即可。使用falsk-mail库完成。获取从前端输入的邮箱密码。

【代码】项目准备（flask+pyhon+MachineLearning）- 3。