自然语言处理之文本摘要：TextRank：深度学习在文本摘要中的应用

摘要提取：对文本进行降维处理

TextRank算法的基本思想是将文档看作一个词的网络（一种基于图的排序方法，用于提取相关句子或查找关键字），该网络中的链接表示词与词之间的语义关系。 TextRank算法主要包括：关键词抽取、关键短语抽取、关键句抽取。...

利用计算机将大量的文本进行处理，产生简洁、精炼内容的过程就是文本摘要，人们可通过阅读摘要来把握文本主要内容，这不仅大大节省时间，更提高阅读效率。但人工摘要耗时又耗力，已不能满足日益增长的信息需求，因此借助计算机进行文本处理的自动文摘应运而生。

最后一步是根据计算出的节点权重来生成摘要。通常，权重较高的句子将被选入摘要中。具体策略可以是选择权重最高的前N个句子，或者选择权重超过某个阈值的所有句子。通过上述步骤，我们可以实现基于TextRank算法的文本摘要。首先，通过预处理和句子分割将文本转换为图模型，然后迭代计算每个句子的权重，最后根据权重选择句子生成摘要。这种方法不仅能够捕捉到文本的主要信息，还能够保持摘要的连贯性和可读性。TextRank算法基于PageRank算法，用于确定句子的重要性。我们将使用网络x库来实现TextRank。# 创建图。

标题：中国成功发射火星探测器正文：中国国家航天局于今日凌晨成功发射了火星探测器“天问一号”，标志着中国深空探测计划迈出了重要一步。此次发射使用了长征五号运载火箭，从海南文昌航天发射场升空。探测器预计将在7个月后抵达火星轨道，进行火星表面的详细探测，包括地质结构、大气环境等。这是中国首次独立实施的火星探测任务，对于提升中国在深空探测领域的技术实力具有重要意义。摘要：中国成功发射火星探测器“天问一号”，预计7个月后抵达火星轨道，进行火星表面的详细探测，这是中国首次独立实施的火星探测任务。

PageRank算法是Google创始人之一拉里·佩奇在斯坦福大学攻读博士学位期间提出的一种网页排名算法。其核心思想是通过网页之间的链接关系来评估网页的重要性。在PageRank中，一个网页的重要性不仅取决于其自身的内容，还取决于指向它的其他网页的重要性。PageRank使用一个0到1之间的分数来表示网页的重要性，这个分数是通过迭代计算得出的，直到达到一个稳定的值。TextRank算法在文本摘要中的应用非常广泛，特别是在自动摘要生成领域。它能够有效地处理长文本，提取出关键信息，生成简洁而全面的摘要。

基于TextRank的抽取式文本摘要（中文）前言备注Talk is cheap, show me the code. 前言 在GitHub上写笔记要经常查看很麻烦，在此记录一些整合的各种代码。能附上原文链接的都附上了，多数非原创，不要杠。部分文章小修小改，不敢妄称原创，如有雷同，算我抄袭。 备注 TextRank抽取式摘要，原理自行搜索 词向量生成方式为Word+Character，预训练的词向量文件来自https://pan.baidu.com/s/1pUqyn7mnPcUmzxT64gGpSw，如有其

TextRank是受到Google的PageRank的启发，通过把文本分割成若干组成单元(单词、句子)并建立图模型, 利用投票机制对文本中的重要成分进行排序, 仅利用单篇文档本身的信息即可实现关键词提取、文本摘要抽取。 PageRank PageRank是用来标识网页的等级、 重要性的一种方法， 是衡量一个网页的重要指标。PageRank 算法提出之前， 已经有人提出使用网页的入链数量进行链接...

好久不见，CSDN。 大数据时代的到来在给人们带来海量数据的便利的同时，也带来了大量的数据冗余和垃圾信息。传统的人工书写文本摘要是文章发布和文章阅读极为重要的一环，读者可以快速阅览摘要判断文章的续读必要性。 然而，人工智能的出现以及现在深度学习的普及，让文章摘要变得十分便利。早在50年前，人们便开始着手于研究自动文本摘要。1958年，Luhn便提出了“词频”的方法，通过计算文章中“keywor

前期回顾 TextRank系列之关键词提取算法 原文链接：文本自动摘要：基于TextRank的中文新闻摘要 用TextRank做单领域多文本的自动摘要的过程如下： 把所有文章整合成文本数据，并把文本分割成单个句子； 用WordAVG的方法，将每个句子中所有单词的词向量合并为句子的向量表示； 计算句子向量间的相似性并存放在矩阵中，作为转移概率矩阵M； 然后将转移概率矩阵转换为以句子为节点、相似性得分为边的图结构，用于句子TextRank计算； 对句子按照TextRank值进行排序，排名最靠前的n个句子作

SamOutVXP不仅是一个语言模型，更是从根本上重新定义了轻量级AI的计算范式，其突破性的State推理模式解决了困扰行业多年的长文本性能瓶颈，为真正的边缘智能铺平了道路。

介绍词义的概念，词与词之间的关系，相似性的算法：林德康相似性定理、Path-Based Similarity、Resnik’s Similarity、Dekang Lin Method、Lesk算法

通才”不是指Prompt把模型变成了通才，而是指模型本身已经被训练成了一个“通才”。它在海量数据中学习了语言、逻辑、知识和多种技能的潜在模式。Prompt的作用是“激活”和“引导”。它像一个开关或一个指令，告诉这个强大的通才模型：“嘿，现在请启动你的‘翻译’技能”或者“现在请启动你的‘创意写作’技能”。

这项研究提出的GPT-2模型，不仅颠覆了我们对语言模型的传统认知，更开创了无监督多任务学习的新范式。这表明GPT-2显著提升了对长文本依赖关系的理解能力。GPT-2的突破在于它向我们展示了一条不同的路径：一个在多样化数据上训练的大型语言模型，无需任何显式监督，就能学会执行多种任务。尽管其性能尚未完全达到监督学习系统的水平，但这一能力完全是通过无监督学习自发获得的，证明了语言模型内在的任务理解能力。这条道路的核心是信任大规模学习的内在智慧——通过提供足够的数据和计算资源，模型能够自动发现世界中的规律和知识。

计算机视觉：从 “分类（整体判断）” 到 “检测（定位 + 分类）”“分割（像素级精细判断）”，再到 “跟踪（动态关联）”“生成（创造）”，实现从 “静态图像理解” 到 “动态视频分析” 再到 “视觉内容创造” 的能力升级；自然语言处理：从 “分类（整体文本判断）” 到 “匹配（文本间关联）”“标注（精细信息提取）”，再到 “生成（文本创造）”，实现从 “文本浅层分析” 到 “语义深层理解” 再到 “语言内容创造” 的能力升级。