Extractive Summarization as Text Matching论文阅读笔记

最新推荐文章于 2023-12-26 01:43:30 发布

neu-gwh

最新推荐文章于 2023-12-26 01:43:30 发布

阅读量747

点赞数 1

CC 4.0 BY-SA版权

分类专栏：文本摘要文章标签：抽取式，文本摘要

本文链接：https://blog.csdn.net/sdauguanweihong/article/details/120083162

文本摘要专栏收录该内容

9 篇文章

订阅专栏

传统的抽取式文本摘要方法主要关注sentence-level，但研究表明这种方法可能不是最优的。作者提出了一种summary-level的摘要方法，将摘要生成转化为文本匹配问题。首先，使用BERTSUM模型对文档中的句子进行评分并选取相关句子作为候选摘要。然后，通过Siamese-BERT模型计算候选摘要与原文档的相似度，以选择最佳摘要。这种方法在训练时优化目标，确保参考摘要得分最高且高质量摘要的相似度更高。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Motivation:

一般的抽取式文本摘要方法都是sentence-level的，即对每个句子进行打分，然后选出一些句子来构成摘要。作者通过实验验证了这种sentence-level的抽取式方法可能并不是最优的，因此作者提出一种summary-level的抽取式摘要方法，将文本摘要转化为一个文本匹配问题，使得选出的摘要与原始文档在语义空间中尽可能的相似。

Method

这篇文章其实一共分为两步，第一步是生成候选摘要，第二步是利用文本匹配的方法对候选摘要重排。
第一步生成候选摘要其实还是sentence-level的，首先使用一个content-selection模块（ BERTSUM 模型）对文档中的每个句子打分，提取出与文档内容最相关的ext个句子，去掉不相关的句子。然后从这ext个句子中随机选出sel个句子进行组合，并按照原始文档的顺序重新组织，最后一共得到 $C_{ext}^{sel}$ 个候选
第二步从候选摘要中选出最佳摘要，这一步是summary-level的，使用Siamese-BERT模型对原文档D和候选摘要C进行文本匹配，即用siamese-bert分别将D和C编码成向量，计算编码后的向量的余弦相似度，得到相似度得分 $f (D, C)$
训练时的损失函数公式如下：
在这里插入图片描述

这里的候选摘要按照rouge得分降序排序
目标是使得参考摘要得分最高，同时使得越好的摘要相似度得分越高。