Monash FIT5217 自然语言处理 期末复习整理详解（中文版）

Monash FIT5217 自然语言处理 期末复习整理详解（中文版），里面包含了moodle上的所有课后习题，还有每周课件重点知识点整理，看完之后能够应付期末考试的题目，如果想要相关的Ass的资料整理可以私聊我。 自然语言处理（NLP）是计算机科学领域的一个关键分支，主要关注如何使计算机理解、生成和处理人类语言。Monash大学的FIT5217课程深入探讨了这一主题，为学生提供了期末复习的重要资料，包括课后习题答案、每周课件的重点知识点，帮助他们应对考试。 我们要了解n-gram模型，这是NLP中常用的一种统计语言模型。n-gram是连续的n个单词序列，用于估计文本中的概率分布。例如，对于一个大小为1000的词汇表，二元模型（bigram，n=2）需要估计的参数数量为\(1000^2 - 1\)，因为每个单词都有除自身之外的999个可能的前驱；三元模型（trigram，n=3）则需要\(1000^3 - 1\)个参数。参数估计通常基于最大似然估计（MLE）。 马尔可夫假设是n-gram模型的基础，它假设当前单词的出现概率只与最近的n-1个单词有关，而与其他更远的上下文无关。这简化了计算，但可能导致信息丢失。 在小语料库上，我们可以列出所有n-gram及其最大似然估计（MLE）概率，并根据这些概率计算给定句子的概率。然而，MLE方法往往会导致零概率问题，即某些n-gram组合在训练数据中未出现，导致其概率为零。为了解决这个问题，通常会采用平滑技术，如add-1平滑，将每个n-gram的概率加1以避免零概率。 OOV（Out-of-Vocabulary）问题是NLP中的一个挑战，指的是在词汇表中未出现的单词。对于英语或芬兰语，OOV问题的严重程度可能不同。英语的词汇量较大，通用性较强，因此可能遇到更多的OOV词。相反，芬兰语等具有较严格构词规则的语言可能会有较少的OOV词，因为大多数新词可以通过已知的词根和词缀生成。 处理OOV词的方法有多种，例如： 1. **足够的训练数据**：确保训练数据覆盖了可能出现的词汇，尽可能减少未知词的出现。 2. **平滑技术**：如插值（interpolation）和退避（smoothing）可以分配一些概率给未见过的n-gram，以防止其概率为零。 3. **使用<UNK>标记**：在模型中添加一个伪词<UNK>来表示未知词，这样模型就可以对未知词进行某种程度的建模。 4. **词形还原和词干提取**：通过词形分析减少词汇表大小，处理词的各种变形形式。 5. **上下文敏感的表示**：如使用词向量或BERT等预训练模型，可以捕捉到单词的上下文信息，提高对OOV词的处理能力。 自然语言处理涉及许多复杂的概念和技术，如n-gram模型、马尔可夫假设、OOV问题以及相应的解决方案。理解和掌握这些知识点是成功应对Monash大学FIT5217课程期末考试的关键。通过深入学习和实践，学生可以更好地掌握自然语言处理的核心原理，从而在实际应用中实现智能的自然语言处理任务。