【经验分享】Model Scope x Ollama：快速下载模型，提高开发效率！

前言

        在人工智能领域，模型的下载和部署一直是开发者面临的一大挑战。尤其是对于一些国外的模型平台，下载速度慢、需要翻墙等问题常常让人头疼。不过，最近魔塔社区（ModelScope）与 Ollama 的合作，为这一问题提供了一个完美的解决方案！

原文链接：https://www.modelscope.cn/docs/models/advanced-usage/ollama-integration

一、相关介绍

1、为什么 Ollama 下载模型这么慢？

        Ollama 是一个非常受欢迎的人工智能模型平台，提供了丰富的模型资源。然而，由于其服务器在国外，国内用户在下载模型时常常会遇到以下问题：

• 下载速度慢：网络延迟和带宽限制导致下载速度非常缓慢，有时甚至需要几个小时才能下载完成一个模型。
• 需要翻墙：由于网络限制，国内用户需要使用 VPN 或其他翻墙工具才能访问 Ollama 的服务器，这不仅增加了复杂性，还可能带来安全风险。

2、魔塔社区的 GGUF 模型解决方案

        ModelScope上托管了数千个优质的GGUF格式的大模型（包括LLM和视觉多模态模型），并支持了Ollama框架和ModelScope平台的链接，通过简单的 ollama run命令，就能直接加载运行ModelScope模型库上的GGUF模型。

• 无需翻墙：魔塔社区的服务器在国内，用户可以直接访问，无需使用翻墙工具。
• 下载速度快：由于服务器在国内，网络延迟低，下载速度大幅提升，大大节省了时间和精力。
• 兼容性强：GGUF 格式支持多种模型架构，确保了与 Ollama 平台的无缝对接。

二、使用教程

1、访问魔塔社区官网

魔塔社区官网：https://modelscope.cn/

2、选择 GGUF 模型

在模型列表中，找到支持 GGUF 格式的模型。这些模型通常会标注“支持 GGUF”字样。

3、下载模型

以Qwen2.5-3B-Instruct-GGUF为例，在ollama中运行命令（ollama安装教程之前的文章介绍过）：

ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF

可以看到下载速度在4MB左右（以大家各自的网速为准）我的平均速度在6MB/s，峰值可达10MB/s。
下载速度比之前快了数倍，而且网络连接非常稳定。
模型加载到 Ollama 后，运行也非常稳定，性能表现与原生模型几乎无异。

总结

        魔塔社区（ModelScope）对 Ollama 的支持，为国内开发者提供了一个高效、便捷的模型下载和使用方案。通过提供 GGUF 模型格式，魔塔社区解决了下载速度慢和网络不稳定的问题，同时确保了模型的兼容性和稳定性。GGUF 格式作为一种通用的模型格式，能够无缝对接 Ollama 平台，让开发者可以快速获取和使用高质量的模型资源。
        如果你也在使用 Ollama，强烈推荐你尝试魔塔社区提供的 GGUF 模型。无论是开发效率的提升，还是模型性能的保障，魔塔社区的 GGUF 模型都将为你带来全新的体验！