Ollama 在本地快速部署大型语言模型，可进行定制并创建属于您自己的模型

ollama只是一个大模型的服务工具，并非大模型本体，所以只是安装ollama也并不能使用大模型，所以接下来要通过ollama下载大模型，需要注意的是，llama3分为多个版本，如果你的电脑性能一般还是安装llama3:8B的版本，除非是很好的电脑，内存64以上，GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本。下面开始下载和安装，下载的话可以到ollama的官网去下载，有window，macOS，liunx三个版本，如下图就是下载完成，可以直接在这里提问了，

这里可以看到已经可以聊天了，当然这样的节目不是很方便，所有可以部署一些，像OPEN WebUI，可以直接用浏览器访问的页面，或者部署本地知识库像Fastgpt、Dify、Ragflow、MaxKB也基本都是社区开源的，后面再单独整理部署文档。8B代表8千亿参数大小，一般电脑配置（i5-12代、8G显存、40G)即可运行；70B代表70千亿参数，需要i9-13代、80G显存，100G配置；这里运行报错了，是因为我修改了默认配置，需要在运行前面添加主机信息。点击“Download”选择自己需要下载的模型。

Ollama作为一款开源工具，为用户提供了便捷的本地大模型部署和调用方式，其卓越的兼容性和灵活性使得在多种操作系统上运行大规模语言模型变得更加简易。通过Docker的安装与部署，用户可以快速上手并灵活使用各类大型模型，为开发和研究提供了强有力的支持。然而，由于Ollama缺乏内置的鉴权访问机制，用户在生产环境中应采取适当的安全措施，以防止潜在的访问风险。总的来说，Ollama在推动本地AI模型的应用和开发中，具备了极大的实用价值，未来若能完善鉴权机制，将无疑成为AI开发者的得力助手。

本文先以Windows电脑运行为例，Linux同理本案运行配置：Win11/CPU i5/RAM 32G （实际运行使用约占用10G）假设你已经下载好了需要的xxx.gguf模型文件，本案：下载地址：https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF。

ollama+MaxKB开源大模型部署方法的部署手册

在docker中部署ollama体验AI模型。

使用Ollama搭建自己私人的deepseek模型教程

docker部署ollama。

介绍如何通过Ollama+Docker在本地部署大模型

使用Docker+ollama部署大模型 ，包括docker和ollama安装配置，以及大模型部署实例

OLLAMA报错网络原因无法下载模型，使用modelscope下载gguf模型后再运行的记录。

Ollama ModelFile(模型文件)

Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)

注意：您应该至少有 8 GB 可用 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。在系统变量中添加一个名为：OLLAMA_MODELS的变量名，路径选择一个合适的位置。然后拉去这个大模型的话，直接复制右边的命令：ollama run llama3。安装模型默认都是安装在c盘的，如果c盘空间不足可以指定安装模型位置。直接点击下载，会根据你的系统自动下载相应的版本。一定要注意，自己的电脑配置是否适合模型的大小。下载完之后，直接点击安装，默认安装到c盘。

同局域网访问，检验是否可以，在另一台电脑浏览器中访问http://192.168.1.72:11434/，地址根据自己服务器地址更换。也可以在浏览器中输入如下地址http://127.0.0.1:11434/访问，出现如下内容说明安装成功。在[Service]标记下，添加如下内容，如下图所示（如果实在不理解什么涵义，直接添加下面内容就可以）重启ollama工具，在任务中找到ollama图标，然后右击鼠标右键，点击Quit Ollama。如果需要每次系统重启，ollama随机启动运行，在执行如下命令。

是一款命令行工具，可在 macOS 、 Linux 、Windows 上本地运行 Llama 2、Code Llama 、Gemma 等模型。3、模型安装完成，我这边选择的是 gemma:2b ，接着就可以直接使用了。本机命令行使用和接口调用都使用正常，根据你的需求选择不同的模型下载使用吧。1、根据 pc 系统安装ollama,安装之后并运行。

打开Ollama的官网，整个网页上就只有一句显眼的话：Get up and running with large language models, locally. 中文意思是：在本地快速上手并运行大型语言模型。