知识感知双流解码的中文故事生成方法
1. 引言
如今,讲故事在自然语言生成中扮演着重要角色,而基于大纲的故事生成是该领域的一项专门任务。给定一个故事大纲,即包含关键人物和事件的一系列关键短语,基于大纲的故事生成旨在生成一个高度符合并与大纲一致的连贯故事。
利用预训练语言模型,基于大纲的故事生成已经取得了显著进展。例如,Rashkin等人使用GPT将大纲转换为完整的故事,并进行动态情节状态跟踪;Guan等人发布了新的中文预训练模型LongLM,在基于大纲的中文故事生成中表现出色。然而,这些模型生成的故事中仍存在一些大纲要点缺失的问题。这是因为模型需要理清这些大纲要点在整个故事中的相互作用,在长文本建模过程中可能导致大纲要点缺失。
在故事上下文中,一系列实体和事件之间存在着强烈的逻辑联系,形成复杂的交互关系。对于基于大纲的中文故事生成,人类可以依靠常识来理解故事事件和实体,并将相关知识融入原始大纲,进而基于新大纲创作故事内容。例如,“拜年”可以被视为关于“除夕夜”的常识知识,这种知识对于基于大纲的中文故事生成非常重要。但此前的相关工作在引入外部常识知识方面的探索并不充分。
为解决上述问题,本文提出了一种新颖的基于大纲的中文故事生成框架,采用双流解码机制,确保生成的故事包含大部分大纲要点。同时,该框架将从中文常识知识库中获取的知识融入故事大纲,以增强生成故事的多样性。
1.1 主要贡献
- 提出一种新颖的基于大纲的中文故事生成框架,利用双流解码机制确保生成的故事包含大部分大纲要点。
- 通过融入从中文ConceptNet知识库中提取的外部常识知识,扩大故事大纲要点,显著提高了生成故事的多样性。