技术背景
在Numpy或PyTorch框架编程的过程中,如果有计算异常,可能会存在NAN
这样的一个东西,也就是not a number
。这不是一个常规的数字,但是也可以参与计算,例如加和、比较等等。本文通过一个简单的示例,展示一下PyTorch框架下,NAN
的计算规则。
代码示例
如下是一个简单的示例:
In [1]: import torch as tc
In [2]: tc.nan
Out[2]: nan
In [3]: a = tc.tensor([0., 1.0, tc.nan])
In [4]: a
Out[4]: tensor([0., 1., nan])
In [5]: a.max()
Out[5]: tensor(nan)
In [6]: a.min()
Out[6]: tensor(nan)
In [7]: a.sum()
Out[7]: tensor(nan)
In [8]: b = a - tc.nan
In [9]: b
Out[9]: tensor([nan, nan, nan])
我们可以直接用torch.nan
来定义一个NAN
的数。然后这个NAN
在计算过程中,不论是取最大值还是最小值,都会取到NAN
。如果另外一个数跟NAN
做四则运算,得到的结果也是NAN
,这就是NAN
的基本运算规则。
NAN的产生
如果我们直接使用1/0
这样的形式去计算,得到的结果会是inf
而不是NAN
:
In [1]: import torch as tc
In [2]: a = tc.zeros(1)
In [3]: b = tc.ones(1)
In [4]: c=b/a
In [5]: c
Out[5]: tensor([inf])
实际上出现NAN
时,只有两种可能的情况:0/0
和inf/inf
:
In [1]: import torch as tc
In [2]: a = tc.zeros(1)
In [3]: b = tc.zeros(1)
In [4]: a/b
Out[4]: tensor([nan])
In [5]: b[0]=1
In [6]: a/b
Out[6]: tensor([0.])
In [7]: b/a
Out[7]: tensor([inf])
In [8]: (b/a)/(b/a)
Out[8]: tensor([nan])
那么就可以通过这样的规则,去排除一下是计算的哪个步骤出现了问题。
总结概要
本文通过几个简单的代码示例,展示了一下NAN在PyTorch框架下形成的原因。通过了解这个原因和规则,有助于解决在深度学习开发和训练过程中出现的NAN的问题。
版权声明
本文首发链接为:https://www.cnblogs.com/dechinphy/p/tc-nan.html
作者ID:DechinPhy
更多原著文章请参考:https://www.cnblogs.com/dechinphy/
腾讯云专栏同步:https://cloud.tencent.com/developer/column/91958