问题现象
GPU云主机英伟达驱动自510.39.01版本开始，默认开启加载GPU卡的GSP功能，会偶发导致执行nvidia-smi命令的时候读取GPU卡为ERR状态，或者导致smi命令卡死。GPU云主机内部存在相关报错日志：Timeout waiting for RPC from GSP!
问题解决
禁用GPU卡GSP功能；以驱动525.85.12版本为例，步骤如下：
1.在GPU云主机内部运行以下命令
sudo su -c 'echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf'
mv /usr/lib/firmware/nvidia/525.85.12 /usr/lib/firmware/nvidia/525.85.12.bak 2.运行以下命令使内核生效
sudo update-initramfs -u #针对ubuntu系统执行此条命令生效
sudo dracut -f #针对BClinux7.x系统、centos系统执行此条命令生效 3.上述命令执行生效后，进行机器重启。
注意
通过nvidia-smi -q |grep -i gsp命令可以查看GSP功能是否开启。检查GSP功能是否被禁用，显示状态为NA，即为禁用状态；如果不显示NA，显示数字则未禁用成功。