搭建大模型

环境：在闪电算力云上申请的3090显卡、ubuntu 22.04，安装了显卡驱动、cuda(11.8)、cdunn(8.9.7)、ollama(0.9.6)，使用 ollama 下载 deepseek-llm:7b大模型并运行

1、申请算力云，我用的闪电算力云：登录

     刚开始用闪电算力云的时候还比较顺利，后面就经常不能开机了，建议换个平台

      登录后在 云实例中 租用新的实例，我选择的 3090，ubuntu 22.04 纯净版，一块钱一个小时；

  实例申请后自动启动，在一键链接中可以看到 连接信息，使用 ftp工具进行连接；

  实例在运行就就会收费，不需要运行的时候记得关机，否则会一直收费；

2、环境搭建

        1、安装 gpu 驱动并重启

                    sudo ubuntu-drivers autoinstall  
                    sudo reboot 
    
                    验证驱动是否安装成功
                       nvidia-smi    能输出驱动版本号

        2、添加镜像源

              sudo sed -i "s|http://.*archive.ubuntu.com|https://mirrors.aliyun.com|g" /etc/apt/sources.list    

        3、安装 cuda 存储库

               (1)、查看是否有cuda存储库
                        ls /etc/apt/sources.list.d/ | grep cuda
               (2)、安装 cuda 存储库(本地环境是 ubuntu22.04，根据自己的需要选择存储库)    
        wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb    
        sudo dpkg -i cuda-keyring_1.1-1_all.deb
        sudo apt update

         4、安装 cuda，使用11.8版本 

                   (1)、安装：sudo apt install -y cuda-toolkit-11-8
                   (2)、配置环境变量
                        echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc
                        echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
                        source ~/.bashrc