lambda-bert:la样式的BERT使用lambda层而不是自我关注的实现

LambdaBERT 一种 :hugging_face: 使用LambdaNetworks而非自我关注的BERT的变压器式实现 该LambdaLayer实现改编自工作与1D序列，继从原来的文件采取的指令（目前正在审查）。 这 :hugging_face: transformer架构用于最大程度地减少重新实现。 动机：线性lambda函数将键值乘积λc用作学习输入投影矩阵，该矩阵与输入无关（即，训练示例中学习的潜在维度的子集），与自我关注的令牌相关性质相反。 从可解释性的角度来看，预训练的λc参数可能比关注权重更有趣，是探讨语言结构的主题。 内容 运行./setup.sh在本地Python3环境中安装所有依赖项。 configuration_lambdabert.py ， modeling_lambdabert.py ： :hugging_face: 包含模型实现的与transformer兼容的文件，该文件是对标准BertModel类的轻度改编，用于支持lamb