- 博客(5)
- 收藏
- 关注
RSS订阅原创 DeepSeek 离线本地部署两种方式以及API接入工具
基础环境:Tesla V100-PCIE-32GB *4 跑的deepseek-r1:32b量化int4，一张卡就够了1. 首先安装 Ollama，这是一款免费且开源的工具，它允许在本地运行和部署大型语言模型。Ollama 支持的操作系统包括 macOS、Linux 和 Windows，同时也支持 Docker 容器化部署。，可以在linux，mac，windows上安装2. 安装并使用 DeepSeek-R1 模型非常简单。
2025-02-08 15:09:10
4901
原创 异构计算卡DCU平台部署qwen2.5-instruct-7B
DCU（Deep Computing Unit 深度计算器）是 海光（HYGON）推出的一款专门用于 AI 人工智能和深度学习的加速卡。DCU也可以应用于密集型数值计算。例如：DCU Z100 32GB HBM2 PCIE 4.0 x16国产通用GPU卡* 2支持ECC，单块GPU卡显存32GB HBM2，FP64 10.8TFlops，通用计算核心8192。
2025-02-08 14:46:24
914
原创 微思记-Celery分布式框架
Celery 是一个强大的分布式任务队列管理工具，主要用于处理异步任务和调度定时任务。它支持分布式系统和并发执行，能够提升系统的吞吐量和响应速度。Celery 采用任务队列模式，将任务放入 Broker（如 Redis、RabbitMQ 等）中，由 Worker 从中获取任务并执行。它常用于 Web 应用、数据处理和自动化等场景，通过分配任务至不同的 Worker 节点，实现高效的并行处理和任务重试。Celery 还支持与 Flower 等工具集成，方便监控和管理任务状态和 Worker 健康状况。
2024-10-28 17:06:14
1997
2
原创 ollama+模型内网离线部署
在线机器上使用ollama提前下载好模型，将模型文件models直接拷贝到系统中，在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止ollama。sudo systemctl start ollama //启动ollama。
2024-07-16 16:18:29
5495
1
空空如也
PHP去重函数怎么用，怎么得到目的数组
2023-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人