GPU云主机安装CUDA

背景信息

CUDA（Compute Unified Device Architecture，统一计算设备架构）是由NVIDIA推出的通用并行计算架构，该架构利用GPU（图形处理器）的处理能力可以解决复杂的计算问题。其包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。目前，CUDA除了可以使用C语言开发外还支持FORTRAN和C++语言，使用该类语言编写的程序可以在支持CUDA架构的处理器上运行，并且能够获得超高的性能。另外，CUDA支持Java、Python等各类语言的接口。

前提条件

确保GPU云主机驱动版本与待安装的CUDA版本相匹配。更多信息，请参见驱动版本与CUDA版本的对应表。

操作步骤

CUDA支持Linux和Windows两种主流系统。本文以CUDA 12.9.1版本为例，为您介绍在Linux和Windows操作系统中GPU云主机安装CUDA的具体操作。

Linux操作系统安装CUDA

1. 登录NVIDIA CUDA Toolkit Archive页面。

根据实际需要安装的CUDA版本点击进入对应下载页面，本文以CUDA Toolkit 12.9.1版本为例。

2. 根据操作系统类型及版本选择CUDA工具包获取方式。

以Ubuntu 24.04系统runfile工具包为例，选择完成后，页面会自动呈现出Ubuntu 24.04 对应的CUDA 12.9.1的下载地址及安装步骤提示。

3. 在GPU云主机内复制上述步骤中的命令进行下载。

wget https://developer.download.nvidia.com/compute/cuda/12.9.1/local_installers/cuda_12.9.1_575.57.08_linux.run

4. CUDA工具包下载完成后，按照如下图的Installation Instructions进行安装。

5. GPU云主机内安装CUDA。

如果您在安装CUDA前还未安装Tesla驱动，请参考GPU云主机安装Tesla驱动（Linux），您也可以根据下述a~g步骤完成前置依赖包的安装后，在执行CUDA安装程序时自动安装驱动，本文即以Ubuntu 24.04系统为例在安装CUDA时完成驱动的安装。

    a. 禁用 Nouveau 驱动。

sudo vim /etc/modprobe.d/blacklist-nouveau.conf

    b. 文件最后加入以下内容。

blacklist nouveau
options nouveau modeset=0

    c. 更新使其生效。

sudo update-initramfs -u

    d. 重启机器。

sudo reboot

    e. 验证内容，若没有内容输出，说明禁用成功。

sudo lsmod | grep nouveau

    f. 安装gcc/cmake。

sudo apt-get update
sudo apt-get install gcc
sudo apt-get install cmake

    g. 验证版本号，有版本号显示说明安装成功。

sudo gcc --version
sudo cmake --version

安装CUDA。

sudo sh cuda_12.9.1_575.57.08_linux.run

稍等一些时间后，进入安装界面。

6. 在安装界面输入accept，回车进入下一步。

7. 选择Install，回车进入安装过程。

已安装Tesla驱动。

未安装Tesla驱动。

根据安装界面提示，选择相关需要安装的选项，默认情况下的安装界面即如上图所示。

点击Install后等待一段时间CUDA即可安装成功，正常安装提示如下：

8. 重启GPU云主机，执行以下命令。

sudo reboot

9. 配置CUDA环境变量，依次执行以下命令。

echo 'export PATH=/usr/local/cuda/bin:$PATH' | sudo tee /etc/profile.d/cuda.sh
source /etc/profile

10. 检查CUDA版本是否安装正确，执行以下命令。

nvcc -V

11.测试CUDA Samples，验证CUDA是否安装成功，依次执行以下命令。

cd /usr/local/cuda-12.9/extras/demo_suite/
./deviceQuery

如回显信息中能正确返回GPU卡信息及CUDA的版本，证明CUDA已被正确安装。

12.（可选）如果您在安装CUDA时勾选了安装驱动，可开启驱动持久化模式。具体操作，请参见GPU驱动开启持久化模式。

Windows操作系统安装CUDA

以下操作以Windows Server 2022 DataCenter 64位中文版操作系统GPU云主机安装CUDA 13.1.0为例。

1. 登录Windows操作系统GPU云主机。

2. 进入CUDA Toolkit Archive页面，选择驱动对应的CUDA版本，下图以CUDA Toolkit 13.1.0为例。

3. 选择需要的操作系统、架构、操作系统版本、安装方式等参数项。

4. 单击Download下载对应的CUDA软件包。

5. 安装CUDA。打开已下载的CUDA软件包所在的文件夹，双击安装文件并开始安装，按照界面上的提示来安装程序。

如果出现NVIDIA安装程序已完成对话框，则表示CUDA安装成功。

6. 检查CUDA版本，打开cmd命令窗口，执行以下命令。

nvcc -V

如果回显信息中出现CUDA的版本信息，说明CUDA安装成功。