服务器有多张GPU可Pytorch中却只能检测到一张卡（several GPUs, only one can be detected）

遇到了一个棘手的问题，实验室服务器有8张GPU，在使用nvidia-smi时候也能显示8张GPU的编号和使用情况，但是真正在自己跑程序的时候却只能识别到1张卡，且默认是在0号卡上。这样就导致了一个问题，当0号卡有别人在跑程序的时候，经常会出现out of memory的错误。如果你强行在代码中通过诸如：

torch.cuda.set_device(4)

或者

import os
os.environ["CUDA_VISIBLE_DEVICES"]="4"

类似的形式进行指定，却又发现会报错“invalid device ...”大意就是说你指定的这个卡是没有的。显然，这个错误信息是说，尽管服务器上有多张卡，但实际只识别了默认的0号这一张卡，所以你指定其它的卡都会报错。经过万千搜索，终于找到了一个相同的情况：Two GPUs, but 2nd GPU not detected. How to fix? - CUDA Setup and Installation - NVIDIA Developer Forums

简单地说，就是你需要在自己的.bashrc文件中进行声明一下，参考如下截图：

如果你是两张卡，对应就在.bashrc末尾加上export CUDA_VISIBLE_DEVICES=0,1摸着葫芦画瓢即可。保存后，需要使用source命令“重启”一下.bashrc文件使得设置生效,即在终端中运行:

source ~/.bashrc

我这样做完后，运行

print(torch.cuda.device_count())

输出结果仍然是1，好像没有效果一样。这时候，大杀器可以登场了，然后显式在代码中注明：

import os
os.environ["CUDA_VISIBLE_DEVICES"]="0,1,2,3,4,5,6,7"

这时候你会发现

print(torch.cuda.device_count())

的结果等于8了！至此说明服务器上所有的GPU都可以为你所用了！这时候，使用

torch.cuda.set_device(4)

就可以顺利地设置自己的程序在指定GPU上运行了！！！一个小毛病折腾了我太多时间！