书面文本含义的捕捉与处理技术

### 书面文本含义的捕捉与处理技术 在自然语言处理领域，有多种技术可用于捕捉书面文本的含义。下面将详细介绍嵌入向量的特性以及循环神经网络在序列建模中的应用。 #### 嵌入向量的特性 嵌入向量是自然语言处理中的重要概念，它能将文本中的单词表示为向量形式，从而便于计算机处理。以下是几种与嵌入向量相关的技术及其特点。 ##### Word2vec方法 - **训练情况**：以德国维基百科为例，其包含约220万篇文章、9.71亿个单词，训练该模型需6.2GB内存。形成了约200万个单词的词汇表，嵌入向量长度设为100，训练耗时约6小时。该方法不使用默认值，适用于任意语言和字母表。 - **向量含义**：训练后，词汇表中的每个单词都有一个嵌入向量。这些向量的分量本身无意义，需与其他单词的嵌入向量对比来解释。 ##### 嵌入向量的最近邻具有相似含义 - **距离度量**：通过计算单词嵌入向量在100维空间中的最近邻来评估。采用余弦距离作为度量，即先将两个向量归一化到长度为1，再计算归一化向量的标量积，该标量积表示两向量间的夹角。 - **示例分析**：如“trumps”的嵌入向量与“trump”的嵌入向量距离最小，说明它们出现的环境相似。“obama”的嵌入向量与“trump”的也距离较近，但“mccain”虽非总统，其嵌入向量也与“trump”较近，这表明单词的相似性并非总是与常规术语一致。 | 单词 | 最近邻单词示例 | | ---- | ---- | | trumps | trump, obama, mccain | | obama | trump, barack | 使用t - SNE方法可将高维数据可视化到二维空间，使高维空间中相邻的点在低维空间中也相邻。例如，“merkel”的20个最近邻嵌入向量投影到二维空间后，“macron”和“condoleezza”距离较远，因为它们与“merkel”在不同句子中被提及。 ```mermaid graph LR A[高维数据点] --> B[t - SNE] B --> C[二维空间点] ``` “mouse”的50个最近邻嵌入向量投影显示，左上角多为卡通领域术语，右下角是小动物名称，中间有“input device”等术语。不同文档集合会形成不同的概念领域，如医学文章集合与维基百科的概念领域不同。 ##### 嵌入向量的差异表达关系 嵌入向量的差异可用于表达概念间的关系，这种关系也称为类比。例如，用“merkel”的嵌入向量减去“germany”的嵌入向量得到的差异向量，代表了“merkel”与“germany”的关系。将该差异向量加到“usa”的嵌入向量上，得到的新嵌入向量对应的最接近单词是“barack”，可解释为国家与其政府首脑的关系。 | 操作 | 结果 | | ---- | ---- | | merkel - germany + usa | barack | | berlin - germany + russia | moscow | 通过嵌入向量计算的类比常用于国家 - 首都、国家 - 货币、国家 - 政府首脑等关系。但类比只能提取文本中频繁出现的关系，Word2vec方法能恢复约69%的测试类比关系。 嵌入向量可用于表示单词含义，在网络搜索引擎中，可用于检索含义相似的单词，显著提高搜索结果质量。 ##### FastText使用字母的n - 元组 Word2vec方法的一个问题是每个单词有独立的嵌入向量，会忽略非常罕见的单词。FastText方法不仅考虑单词，还考虑单词的部分，即字母序列（n - 元组）。通常使用所有重叠的3 - 元组到6 - 元组。 以“anarchy”为例，其表示包括整个单词和字母序列： - 完整单词：<anarchy> - 3 - 元组：<an, ana, nar, arc, rch, chy, hy> - 4 - 元组：<ana, anar, narc, arch, rchy, chy> - 5 - 元组：<anar, anarc, narch, archy, rchy> 训练时，模型输入是相邻单词及其字母序列嵌入向量的总和，通过逻辑回归模型预测中心单词及其字母序列