在conda环境中安装nvcc/cuda-toolkit

前言

作为赛博洁癖，新配的服务器不想管理复杂的cuda环境，因此正在测试除了驱动外其他所有的cuda相关组件通过conda管理的可行性，因此产生此文作为配置记录方便后续查询。本文针对特定版本做管理，默认以 12.4 版安装，在 4090 和 A100 环境下可以使用。

前置条件：系统上已经安装英伟达驱动。

Conda可以安装什么？

除了ffmpeg可以直接用conda安装之外，nvcc等一系列工具都可以直接通过conda管理，实现多个环境之间隔离。以下内容均在激活的conda环境内进行，表示在该环境下安装工具。

nvcc

cuda 编译工具，这个包是最重要的一个，在 conda 中安装完全可以替代在系统内进行安装和管理。

conda install -c nvidia cuda-nvcc

安装之后通过nvcc -V检查是否安装成功。

两个通过 nvcc 解决的问题：

• 在安装DeepSpeed时出现如下错误，发现是没有nvcc，通过在conda内直接安装nvcc解决

  CUDA_HOME does not exist, unable to compile CUDA op(s)

• 安装 Flash Attention 时找不到 CUDA_HOME 的问题也可以通过这个包解决

  export CUDA_HOME="your conda env path"
  pip install flash-attn --no-build-isolation

cuda-compiler

cuda 相关的包，具体安装的包如图：

conda install -c nvidia cuda-compiler

pytorch-cuda

从 pytorch 官网拷贝的下载方法，安装 pytorch-cuda 同时会安装部分和 cu 相关的 toolkit lib。

由于 conda 源中的 cudatoolkit 不更新 12 版本以上的包，因此这个包基本上是必装的。

conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 pytorch-cuda=12.4 -c pytorch -c nvidia

cuda-toolkit

⚠️注意不是cudatoolkit无减号版，这是两个不同的包，这个一般情况下不用装。

conda install -c nvidia cuda-toolkit