如何在离线的Linux服务器上部署 Ollama,并使用 Ollama 管理运行 Qwen 大模型

手动安装 Ollama

根据Linux的版本下载对应版本的 Ollama

  • 查看Linux CPU型号,使用下面的命令
#查看Linux版本号
cat /proc/version
#查看cpu架构
lscpu
  • x86_64 CPU选择下载ollama-linux-amd64;aarch64|arm64 CPU选择下载ollama-linux-arm64

ollama不同型号

安装和运行

  • 在有网络的环境下载好tgz安装包,并上传到离线 Linux 服务器
  • 安装,使用下面的命令:
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  • 启动 Ollama,使用下面的命令:
ollama serve
  • 另外启动一个终端验证是否运行成功,使用下面的命令:
#查看所有下载的模型
ollama list

这样 Ollama 就算安装完成了。之所以下载 Ollama,是因为 Ollama 提供了大模型运行的所有环境,使用它能方便的在本地运行各种 LLM。

在 Ollama 上部署 Qwen2.5

下载 Qwen2.5

  • 在国内 AI 社区 ModelScope 下载 Qwen2.5 模型,国外的 AI 社区 Hugging Face 也可以下载,不过要想下载国外的大模型,例如 Llama,需要填写联系信息进行申请,不过申请了也不一定会给过的。

image

  • 推荐使用 Git 下载,使用下面的命令:
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct.git

从 Safetensors 导入模型

  • Git 克隆下来的仓库会包含一个 model.safetensors 文件,需要将其格式转换为二进制 .bin 形式,才能由 Ollama 着手导入进行管理。

image

  • 大模型格式转换主要用到一个工具 llama.cpp,使用下面的命令同步 llm/llama.cpp 子模块:
#首先克隆 Ollama 仓库
git clone [git@github.com](mailto:git@github.com):ollama/ollama.git ollama
cd ollama

#然后同步子模块
git submodule init
git submodule update llm/llama.cpp

#接着安装 python 依赖
python3 -m venv llm/llama.cpp/.venv
source llm/llama.cpp/.venv/bin/activate
pip install -r llm/llama.cpp/requirements.txt
  • 转换模型Qwen2.5,使用下面的命令:
python llm/llama.cpp/convert_hf_to_gguf.py ./model --outtype f16 --outfile converted.bin
  • 编写模型文件 Modelfile (没有后缀名),文件内容如下:
FROM converted.bin
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""
SYSTEM """
你是一个乐于助人的助手,但你会用20世纪30年代黑手党暴徒的风格去回答问题
"""
  • 将转换后的 .bin 文件和 Modelfile 文件上传到离线的 Linux 服务器的同一目录下,使用下面的命令导入到 Ollama:
ollama create Qwen2.5 -f Modelfile
  • 查看和运行大模型,使用下面的命令:
#查看大模型信息
ollama show Qwen2.5

#查看 Ollama 管理的所有大模型
ollama list

#运行大模型
ollama run Qwen2.5

#查看正在运行的大模型
ollama ps

这样 Qwen2.5 就算导入成功了,实际上 llama 工具还可对大模型进行量化,量化后的大模型会更加精确,更加节省系统资源,有关量化的信息可自行研究.

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

👉 福利来袭CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

<think>嗯,用户问的是如何在服务器部署Ollama。我之前处理过类似的问题,记得有几个引用资料提到不同的部署方法,比如在线和离线环境。首先,我得确定用户的具体需求,是在线服务器还是离线环境,不过用户的问题比较笼统,可能需要分情况说明。 根据引用3,云服务器部署Ollama可以通过一键脚本安装,步骤包括更新系统、安装必要工具,然后运行curl命令。而引用2和4讨论了离线环境的部署,需要提前下载安装包,上传到服务器,然后解压安装。此外,离线情况下还需要处理模型文件的下载和转换,比如用Git LFS克隆仓库,转换safetensors格式到.bin。 用户可能没有明确说明服务器是否有网络,所以作为回答者,我应该覆盖这两种情况。首先介绍在线安装,再说明离线步骤。同时,模型部署部分也需要详细说明,比如如何下载模型,如何启动服务,以及验证是否成功。可能还需要提到基础环境配置,比如安装依赖工具,这在引用3中有提到。 另外,需要注意权限问题,比如使用sudo命令来安装,以及如何配置系统服务让Ollama在后台运行。引用2中提到启动ollama serve,但可能需要用nohup或者systemd来管理进程。可能还要提醒用户防火墙设置,确保端口访问。 模型管理部分,引用4提到了模型格式转换,这可能在离线部署时特别重要。需要详细说明步骤,比如使用Git克隆模型仓库,转换文件格式,然后导入Ollama。同时,用户可能想知道如何验证模型是否成功加载,比如使用ollama list命令。 最后,考虑到用户可能想将Ollama集成到自己的程序中,引用1提到嵌入模型的步骤,可能需要简要说明API调用方法或者相关文档指引。需要确保回答结构清晰,分步骤讲解,让用户能一步步跟随操作。可能还需要注意事项部分,提醒常见问题,比如权限、路径错误、模型兼容性等。</think>### 如何在服务器部署 Ollama #### 一、在线环境部署(有网络) 1. **基础环境配置** 更新系统安装必要工具: ```bash sudo apt-get update && sudo apt-get upgrade -y sudo apt-get install -y wget curl git pciutils lshw ``` 确保服务器满足最低硬件要求(如内存建议 ≥8GB)[^3]。 2. **一键安装 Ollama** 执行官方安装脚本: ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 安装完成后,Ollama 服务会自动启动[^3]。 3. **验证安装** 输入以下命令查看服务状态: ```bash systemctl status ollama ``` 若需手动启动服务: ```bash ollama serve ``` --- #### 二、离线环境部署(无网络) 1. **准备安装包** 在有网络的环境中下载 OllamaLinux 安装包(如 `ollama-linux-amd64.tgz`),通过 SFTP 或 U 盘上传到服务器[^2]。 2. **解压安装** 执行解压命令: ```bash sudo tar -C /usr -xzf ollama-linux-amd64.tgz ``` 安装后需手动启动服务: ```bash ollama serve ``` 3. **离线模型部署** - 下载模型文件(如 Qwen)到本地: ```bash git lfs install git clone https://www.modelscope.cn/Qwen/Qwen2.5-1.5B-Instruct.git ``` - 转换模型格式(如 Safetensors 转 .bin): 使用工具将 `model.safetensors` 转换为 Ollama 支持的格式[^4]。 --- #### 三、模型管理与验证 1. **下载预训练模型** ```bash ollama pull llama3 # 示例:下载 Meta 的 Llama3 模型 ``` 2. **查看已安装模型** ```bash ollama list ``` 3. **运行模型** ```bash ollama run llama3 # 启动交互式对话 ``` --- #### 四、进阶配置 - **后台服务管理** 创建 Systemd 服务文件(路径:`/etc/systemd/system/ollama.service`),添加以下内容: ```ini [Unit] Description=Ollama Service After=network.target [Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always [Install] WantedBy=multi-user.target ``` 启用服务: ```bash sudo systemctl enable ollama sudo systemctl start ollama ``` --- #### 注意事项 1. **权限问题**:确保执行命令时拥有 `sudo` 权限。 2. **端口冲突**:Ollama 默认使用 `11434` 端口,若被占用需修改配置。 3. **模型兼容性**:不同模型对硬件要求不同,建议先测试小模型(如 `TinyLlama`)。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值