Re60：读论文 FILM Adaptable and Interpretable Neural Memory Over Symbolic Knowledge

诸神缄默不语

于 2023-12-13 21:35:06 发布

阅读量217

点赞数

CC 4.0 BY-SA版权

分类专栏：人工智能学习笔记文章标签： transformers LLM NLP 大规模预训练语言语言模型自然语言处理 BERT FILM

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/134982140

人工智能学习笔记专栏收录该内容

271 篇文章

订阅专栏

这篇2021年NAACL的谷歌论文探讨了适应性和可解释性的神经记忆模型FILM，用于解决语言模型中信息更新的问题。论文提出了一种知识库结构，通过三向量组表示实体和关系，以提高模型的解释性。作者认为模型虽然复杂但缺乏新颖技巧，且谷歌论文通常难以理解，因此未深入研究。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

诸神缄默不语-个人CSDN博文目录
 诸神缄默不语的论文阅读笔记和分类

论文名称：Adaptable and Interpretable Neural Memory Over Symbolic Knowledge
模型名称：Fact Injected Language Model (FILM)

NAACL版网址：https://aclanthology.org/2021.naacl-main.288/

本文是2021年NAACL论文，作者来自谷歌。

这篇论文解决的也是LM中信息更新难（需要改数据重新训练）的问题，提出了可解释的神经符号知识库fact memory，每个元素来自一个三向量组（每个向量对应一个知识库实体或关系）。
entity memory
FILM：masked LM

总之就是这种堆叠的模型……
在这里插入图片描述

这篇论文看起来太堆叠了，没什么值得我现在研究的trick，而且是谷歌论文（谷歌的论文普遍晦涩难懂），所以没有仔细看。

实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这个是考虑到训练集使用数据的问题：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

诸神缄默不语 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。