Linux（GPU）显卡清理缓存

动态查看显卡的使用情况，可以用watch指令实现：watch -n 10 nvidia-smiwatch -n 0.1 nvidia-smi#命令行参数-n后边跟的是执行命令的周期，以s为单位。查看当前系统中GPU占用的线程:fuser -v /dev/nvidia*(base) [root@iz2zebztoqwc0jz6ad1ptjz ~]# fuser -v /dev/nvidia*USER

水煮胡萝卜

10166人浏览 · 2021-11-17 09:38:21

水煮胡萝卜 · 2021-11-17 09:38:21 发布

动态查看显卡的使用情况，可以用watch指令实现：
watch -n 10 nvidia-smi
watch -n 0.1 nvidia-smi
#命令行参数-n后边跟的是执行命令的周期，以s为单位。

查看当前系统中GPU占用的线程:

fuser -v /dev/nvidia*

(base) [root@iz2zebztoqwc0jz6ad1ptjz ~]# fuser -v /dev/nvidia*
                     USER        PID ACCESS COMMAND
/dev/nvidia0:        root      15072 F...m python3
                     root      23533 F...m python
/dev/nvidiactl:      root      15072 F...m python3
                     root      23533 F...m python
/dev/nvidia-uvm:     root      15072 F...m python3
                     root      23533 F...m python

使用kill -9 pid释放显存

Volatile GPU-Util:指的利用率而不是使用率
#如果一直为0有可能是GPU默认打开了ECC(error correcting code, 错误检查和纠正),会占用显存和降低显卡性能，打开Persistence Mode Enabled:用root执行nvidia-smi -pm 1
如果一直是100%，极有可能是中病毒了，查询所有信息 nvidia-smi -q,根据Used GPU Memory 找到占用最大最可疑的进程PID，然后ls -l /proc/pid,看看是否有守护进程，如果有先删掉守护进程再kill -9 PID

Memory-Usage：gpu占用率，但是gpu占用高，不表示利用率高, 需要从代码层面调整GPU的利用率