第三章 RNN.pptx

在自然语言处理领域，循环神经网络（Recurrent Neural Network，简称RNN）是一种重要的模型，尤其适用于处理序列数据。RNN的设计目标是捕捉输入序列中的时间依赖性，这对于理解和生成有时间顺序的数据至关重要，如文本、语音或者时间序列数据。 在上述的PPT内容中，RNN被用于解决槽填充（Slot Filling）问题，这是一个典型的自然语言理解任务。例如，当用户说“我想在11月2日到达台北”时，系统需要识别出“目的地”、“到达时间”等信息，这就是槽填充的任务。传统的 feedforward 神经网络可能无法有效处理这个问题，因为它们不具有记忆机制，无法记住前面输入的信息来影响后续的决策。 1-of-N 编码是一种将词汇表中的每个单词表示为向量的方法。对于一个包含五个词的词汇表（如“apple”、“bag”、“cat”、“dog”、“elephant”），每个词被编码为一个与词汇表大小相等的向量，只有一个维度为1，对应于该词在词汇表中的位置，其他维度为0。这样，每个输入单词可以被有效地转化为一个固定长度的向量。 然而，使用feedforward网络解决槽填充时，由于网络无法存储过去的信息，对序列的处理会出现问题。例如，模型无法区分“arrive Taipei”和“Taipei arrive”这两种不同的表述，因为它们在每个时间步的输入是独立的。 RNN引入了内存的概念，使得网络在处理序列时可以记住之前的时间步信息。在RNN中，隐藏层的输出不仅作为当前时间步的输出，还会被用作下一个时间步的输入，形成了一个循环结构。通过这种方式，RNN能够捕捉到序列的长期依赖性。 在示例中，展示了简单的RNN存储单元，所有的权重都是1且没有偏置，激活函数为线性。当输入序列变化时，输出序列也会随之改变，这显示了RNN如何根据输入序列的上下文动态调整其内部状态。 在实际应用中，RNN的隐藏层通常会使用非线性激活函数（如tanh或ReLU），以增加模型的表达能力。此外，门控循环单元（GRU）和长短期记忆网络（LSTM）是两种改进的RNN结构，它们通过控制信息的流动来解决梯度消失或爆炸问题，从而更有效地学习长期依赖关系。 RNN在处理序列数据，特别是自然语言处理任务如槽填充时，通过其内在的记忆机制，能够理解并利用上下文信息。而1-of-N编码则是将离散文本信息转化为可处理的向量形式。这些概念在现代NLP模型中扮演着核心角色，是构建智能对话系统、机器翻译、情感分析等应用的基础。