ubuntu 20.04 安装 huggingface transformers 环境

1. 安装 cuda

大多数新发布的大语言模型使用了较新的 PyTorch v2.0+ 版本,Pytorch 官方认为 CUDA 最低版本是 11.8 以及匹配的 GPU 驱动版本。详情见Pytorch官方 如下图:
在这里插入图片描述

1.1 下载 cuda

cuda 12.1 官方网站
在这里插入图片描述
下载:

$wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run

1.2 安装 cuda

$sudo sh cuda_12.1.1_530.30.02_linux.run

然后,接受协议
在这里插入图片描述
由于已经安装显卡驱动,选择不安装,然后光标到 install 处,点击回车
在这里插入图片描述
同意覆盖原有的 /usr/local/cuda
查看cuda:

$ ll /usr/local/cuda
lrwxrwxrwx 1 root root 21 Mar  
<think>好的,我需要帮助用户在Ubuntu系统上安装和使用Ollama以及DeepSeek模型。首先,我应该回顾用户提供的引用内容,看看有没有相关的安装指导。引用里提到了Anaconda、Airflow、VRX在Ubuntu安装步骤,还有Python环境配置,比如使用pip3和特定版本的torch。虽然这些引用没有直接提到Ollama或DeepSeek,但可以参考类似的安装流程。 Ollama是一个用于本地运行大型语言模型的工具,用户需要先安装它。根据常见的Ubuntu软件安装步骤,可能需要下载安装脚本或者使用命令行工具。比如引用[1]中安装Anaconda的方法是下载脚本然后运行,这可能适用于Ollama的安装。用户需要访问Ollama的官方网站获取安装命令,比如使用curl下载脚本,然后执行安装。 接下来是安装DeepSeek模型。Ollama支持通过命令行拉取模型,所以用户需要知道DeepSeek模型在Ollama中的名称。例如,类似ollama pull deepseek-7b这样的命令。但需要确认模型是否在Ollama的模型库中可用,如果不在,可能需要其他方法加载本地模型。 然后需要考虑Python环境,可能用户需要运行示例代码,所以安装Python和相关库是必要的。引用[4]提到了pip3的版本,用户可能需要用pip安装所需的依赖包,比如ollama的Python库。另外,引用[2]提到在Ubuntu 20.04上使用特定版本的Python和torch,可能需要类似的配置。 用户可能遇到的常见问题包括安装依赖项缺失、权限问题、模型下载失败等。需要提醒用户检查网络连接,确保有足够的存储空间,以及使用sudo权限运行安装命令。如果模型需要特定版本的Ollama或额外的配置,也需要注明。 最后,生成相关问题时要围绕安装步骤、模型使用、故障排除和集成开发环境等方面。确保问题能够覆盖用户可能遇到的后续疑问。</think>以下是在Ubuntu系统上安装和使用Ollama与DeepSeek模型的详细步骤: ### 一、安装Ollama 1. **通过脚本安装** 打开终端执行以下命令(需确保已安装curl工具): ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 该脚本会自动完成二进制文件下载、服务注册及权限配置[^1]。 2. **验证安装** ```bash ollama --version # 应显示版本号如0.1.23 sudo systemctl status ollama # 查看服务状态 ``` ### 二、部署DeepSeek模型 1. **下载模型文件** DeepSeek模型需从官方渠道获取(如Hugging Face): ```bash git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat ``` 2. **导入Ollama** 创建Modelfile配置文件: ```dockerfile FROM ./deepseek-llm-7b-chat PARAMETER num_ctx 4096 ``` 执行模型导入: ```bash ollama create deepseek -f Modelfile ``` ### 三、基础使用示例 ```python import ollama response = ollama.generate(model='deepseek', prompt='解释量子力学') print(response['text']) # 流式响应示例 for chunk in ollama.generate_stream(model='deepseek', prompt='写一首七言绝句'): print(chunk['response'], end='', flush=True) ``` ### 四、环境配置建议 1. **硬件要求** 建议至少16GB内存,7B参数模型需要8GB以上显存(NVIDIA显卡需安装CUDA 12+) 2. **Python依赖** ```bash pip3 install ollama transformers torch ``` 3. **常见问题处理** - *GPU加速未生效*:检查CUDA版本是否匹配 - *模型加载失败*:尝试量化版本`deepseek-7b-q4` - *权限拒绝*:执行`sudo usermod -aG ollama $USER`后重新登录
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值