云淡风轻_的博客

语义检索系统：不同于基于字面匹配检索，在语义层面的检索泛化效果更好。语义检索系统方案的一些问题：用什么架构？各模块用什么模型？模型如何调优？有多少训练数据？训练数据的形式？语义检索效果如何自动化评估？等PaddleNLP语义检索系统给出的回答：架构：recall+ranking，模型：ERNIE-Gram，千万级无监督语料

问答系统是信息检索系统的一种高级形式，旨在用准确简洁的自然语言回答用户自然语言提出的问题。 应用场景：搜索引擎、智能设备和智能客服。 分类：文本问答，知识库问答，表格问答和视频问答。 技术发展：规则方法、统计机器学习时代、深度学习方法。 预训练时代来了，端到端的系统可以做到全局优化，这种端到端问答系统一般是都是检索式问答，分为两阶段：先从语料库中检索候选段落，再阅读理解从候选段落中抽取候选答案。 本课围绕检索阶段

XLNet在自回归语言模型中，通过PLM引入了双向语言模型。也就是在预训练阶段，采用attention掩码的机制，通过对句子中单词的排列组合，把一部分下文单词排到上文位置。 PLM预训练目标、更多更高质量的预训练数据，transformerXL的主要思想。这就是XLNet的三个主要改进点，这使XLNet相比bert在生成类任务上有明显优势，对于长文档输入的nlp任务也会更有优势。

ELMo通过上下文动态调整wordembedding解决了多义词问题，但LSTM的特征抽取能力远不如transformer。且拼接方式双向融合的特征融合能力弱GPT用上了transformer特征抽取能力增强，但是采用单向语言模型，只通过上文进行预测BERT，transformer+双向语言模型+更大规模数据。BERT的效果：在11个各种类型的NLP任务中达到目前最好的效果，有些任务性能有极大提升引入先验的语言学知识，对数据有限的任务很重要，两阶段模式是很好的解决方法