pack_padded_sequence和pad_packed_sequence详解

最新推荐文章于 2025-07-22 13:55:49 发布

原创最新推荐文章于 2025-07-22 13:55:49 发布 · 774 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节 #深度学习

NLP 同时被 2 个专栏收录

25 篇文章

订阅专栏

pytorch

24 篇文章

订阅专栏

博客介绍了在深度学习的文本分析中，使用LSTM时会遇到文本长度不一致的情况，需用padding方式对齐文本长度。同时提到pytorch中的pack_padded_sequence可去掉padding部分减少冗余，输入网络后的结果需用pad_packed_sequence还原，并给出官网解读链接和代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先提供一个官网解读
https://pytorch.org/docs/1.0.1/nn.html#torch.nn.utils.rnn.pack_padded_sequence

在使用深度学习特别是LSTM进行文本分析时，经常会遇到文本长度不一样的情况，此时就需要对同一个batch中的不同文本使用padding的方式进行文本长度对齐，方便将训练数据输入到LSTM模型进行训练，同时为了保证模型训练的精度，应该同时告诉LSTM相关padding的情况，此时，pytorch中的pack_padded_sequence就有了用武之地。
通常pading的位置向量都是0，我们需要使用pack_padded_sequence() 把数据压紧，即去掉pading的部分，减少冗余。然后再输入网络中，如lstm等。通过网络后的结果也是压紧的，需要通过pad_packed_sequence()还原。
torch.nn.utils.rnn.pack_padded_sequence(input, lengths, batch_first=False)

input (Tensor) – padded batch of variable length sequences.
lengths (Tensor) – list of sequences lengths of each batch element.
batch_first (bool, optional) – if True, the input is expected in B x T x * format.

pad_packed_sequence 解压

代码示例

import torch
import torch.nn as nn
import torch.nn.utils as utils
from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence

# 定义一个双向lstm网络层
lstm = nn.LSTM(4, 100, num_layers=1, batch_first=True, bidirectional=True)  
# 定义一个有padding的序列数据，也就是有冗余的0
x = torch.tensor([[[1,2,3,4],
                   [2,3,4,5],
                   [2,5,6,0]],
                  [[1,2,1,1],
                   [1,6,7,9],
                   [0,0,0,0]],
                  [[1,2,3,4],
                   [1,1,1,1],
                   [0,0,0,0]],
                  [[1,2,3,4],
                   [0,0,0,0],
                   [0,0,0,0]],
                 ])
x = x.float()

# 压紧数据，去掉冗余
packed = pack_padded_sequence(x, torch.tensor([3, 2, 2,1]), batch_first=True) # 打包，压缩
# 通过lstm进行计算，得到的结果也是压紧的
output, hidden = lstm(packed)
# 解压
encoder_outputs, lenghts = pad_packed_sequence(output, batch_first=True)