博客指出看似维度不匹配的错误，实际是生成数据的问题。使用Dataparallel加载数据，因将positional embedding维度设为[1, length, embed_dim]，在两块GPU进行数据并行时不满足分配，导致维度不匹配。解决方法是将其维度初始化为[batch_size, length, embed_dim]。
错误：
上述错误看着像是维度不匹配，实际是生成数据的错误
1、GPU数量2，使用Dataparallel加载
inputs：[batch_size, length]
其中的一个输入，即bert中positional embedding，偷了个巧，反正每个样本其值都一样，所幸在DataLoader中将其维度设置为[1, length, embed_dim]，然后就悲剧了。
模型进行数据并行时，例如这里是两块GPU，实际是将数据分成两份，按照batch_size的维度进行分配。如果positional embedding的维度为[1, length, embed_dim]，那么就不满足分配，所有就出现上图维度不匹配的错误。
解决方法：
只需将positional embedding的维度初始化为[batch_size, length, embed_dim]
GPU使用错误：维度不匹配
最新推荐文章于 2025-05-13 08:16:17 发布
扫一扫
2041
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
