显卡驱动

首先就是安装显卡驱动，我是双3090，不知道为什么，官网死活安不上，最后从软件更新那里直接安装上了，绷不住了

cuda

首先从官网下载runfile文件

安装的时候记得驱动和Kernel Objects 和 nvidia-fs不选

然后全剧终
等等，你还需要vim .bashrc，加入(版本替换成自己的)

export PATH="/usr/local/cuda-12.1/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH"

安装torch

改成清华源直接安装

你可能遇到的报错

你曾经安装过cuda，现在删除不干净

cd /usr/local/cuda-xxx/bin/
sudo ./cuda-uninstaller
sudo rm -rf /usr/local/cuda-xxx

然后你发现还是不干净，乐了，这时候你需要

    sudo apt-get remove --purge nvidia*
    sudo apt-get autoremove
    sudo sh cuda-*.run --silient --override

然后你发现你驱动没了，笑了，这个时候再装一下就ok了，凑活一下吧

输出一下看看成没成

import torch

# 打印PyTorch版本
print(torch.__version__)

# 检查CUDA是否可用
cuda_available = torch.cuda.is_available()
print("CUDA available:", cuda_available)

# 如果CUDA可用，打印CUDA版本和可用GPU数量
if cuda_available:
    print("CUDA version:", torch.version.cuda)
    print("Number of GPUs available:", torch.cuda.device_count())
    for i in range(torch.cuda.device_count()):
        print(f"GPU {i}: {torch.cuda.get_device_name(i)}")
else:
    print("CUDA is not available. PyTorch will use CPU.")

双卡训练

写好文件前面加点东西就行

torchrun --nproc_per_node=2 train.py config/train_shakespeare_char.py