DeepSeek-R1-0528-Qwen3-8B 本地ollama离线运行使用和llamafactory lora微调

已于 2025-05-30 16:50:12 修改
阅读量1.1k 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 人工智能 ai qwen deepseek
于 2025-05-30 11:39:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/148322567

参考：
https://huggingface.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B
在这里插入图片描述
量化版本：
https://huggingface.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF
https://docs.unsloth.ai/basics/deepseek-r1-0528-how-to-run-locally
在这里插入图片描述
在这里插入图片描述

1、ollama运行

升级ollama版本到0.9.0

支持直接下载：Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署
https://blog.csdn.net/qq_39780701/article/details/144522063


                

                
                
        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
deepseek-r1-0528-qwen3-8b本地部署：Ollama老版本大升级至0.9.0

				
			

			

				

					Ven%的博客
				

				

					06-05
					
					563
					
				

			

		

		

			
				
摘要：本文介绍了升级Ollama以支持Qwen3等新模型的方法。首先检查当前版本，确认无法运行新模型后，通过安装ModelScope依赖，下载最新Ollama镜像（v0.9.0），执行安装脚本完成升级。升级过程包括卸载旧版本、安装新版本，最后验证版本号确认升级成功。该方法解决了老版本Ollama无法运行Qwen3系列模型的问题。

			
		

	



                

            
              



	

		

			

				
					
DeepSeek掘金——DeepSeek-R1微调指南

				
			

			

				

					
				

				

					03-03
					
					3681
					
				

			

		

		

			
				
在这篇博文中，我们将逐步指导你在消费级 GPU 上使用 LoRA（低秩自适应）和 Unsloth 对 DeepSeek-R1 进行微调。微调像 DeepSeek-R1 这样的大型 AI 模型可能需要大量资源，但使用正确的工具，可以在消费级硬件上进行有效训练。让我们探索如何使用 LoRA（低秩自适应）和 Unsloth 优化 DeepSeek-R1 微调，从而实现更快、更具成本效益的训练。DeepSeek 的最新 R1 模型正在设定推理性能的新基准，可与专有模型相媲美，同时保持开源。

			
		

	



              


  
              

                


	

		

			

				
					
DeepSeek-VL2实战指南：一步步构建您自己的智能视觉问答系统！

				
			

			

				

					SJJS_1的博客
				

				

					02-07
					
					3973
					
				

			

		

		

			
				
DeepSeek-VL2，这是一系列先进的大型混合专家 (MoE) 视觉语言模型，其显著改进了其前身 DeepSeek-VL。DeepSeek-VL2 在各种任务中都表现出卓越的能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解和视觉基础。我们的模型系列由三个变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分别具有 1.0B、2.8B 和 4.5B 激活参数。

			
		

	





	

		

			

				
					
又一次“开源的巨大胜利”？DeepSeek-R1-0528 真有那么强？

				
			

			

				

					2501_92189104的博客
				

				

					05-30
					
					2590
					
				

			

		

		

			
				
DeepSeek-R1-0528是DeepSeek AI推出的开源大模型升级版本，号称能与Gemini 2.5 Pro、Claude Sonnet等顶尖闭源模型竞争，并在推理深度、代码生成和长文本处理等方面有显著提升。其训练数据达671B Token，保持开源特性，支持本地部署和API调用，大幅降低AI开发成本。性能评测显示，其中位数基准得分达69.45，接近闭源巨头水平，但仍需注意幻觉、偏见及不同模型尺寸的性能差异。

			
		

	



		

			
		



	

		

			

				
					
DeepSeek-R1-0528-Qwen3-8B 本地部署教程：DeepSeek 开源高质量推理链，实力媲美巨头

				
			

			

				

					SJJS_1的博客
				

				

					06-10
					
					2239
					
				

			

		

		

			
				
前不久，DeepSeek R1 模型进行了一个小版本升级，当前版本为 DeepSeek-R1-0528。是由中国 AI 实验室 DeepSeek 于 2025 年 5 月底发布的一款轻量级开源模型，它基于 Qwen3-8B Base 模型，通过蒸馏微调而成。该思维链对于推理模型的学术研究以及专注于小规模模型的工业开发具有重要意义。

			
		

	





	

		

			

				
					
首发！PPIO派欧云上线DeepSeek-R1-0528-Qwen3-8B蒸馏模型

				
			

			

				

					
				

				

					05-30
					
					1271
					
				

			

		

		

			
				
首发！PPIO派欧云上线DeepSeek-R1-0528-Qwen3-8B蒸馏模型DeepSeek R1 系列的模型更新还在继续。继昨天 PPIO派欧云后，今天 PPIO 再次首发 DeepSeek 最新开源的蒸馏模型DeepSeek-R1-0528-Qwen3-8B 是将 DeepSeek-R1-0528 的思维链提取出来，用于对 Qwen3 8B Base 进行后训练而得到的蒸馏模型。

			
		

	





	

		

			

				
					
本地部署 DeepSeek-R1-0528 超大语言模型全流程指南（含量化版优化实操）

				
			

			

				

					Xianxiancq的博客
				

				

					06-13
					
					1210
					
				

			

		

		

			
				
DeepSeek-R1-0528 是 DeepSeek 最新发布的 R1 推理模型，磁盘占用高达 715GB，成为目前最大规模的开源模型之一。然而，得益于 Unsloth 的先进量化技术，该模型体积可缩减至 162GB，足足减少了 80%。这种优化让用户在硬件要求大幅降低的前提下，依然能体验到模型的强大能力，尽管性能会有轻微损失。

			
		

	





	

		

			

				
					
DeepSeek-R1:8b 0528

				
			

			

				

					liuhagen的专栏
				

				

					06-01
					
					156
					
				

			

		

		

			
				
400 - {"error":"registry.ollama.ai/library/deepseek-r1:8b does not support tools"}

			
		

	





	

		

			

				
					
模型的快速下载（DeepSeek,任何模型都适用）

					
热门推荐

				
			

			

				

					anningyue的博客
				

				

					02-10
					
					1万+
					
				

			

		

		

			
				
模型的快速下载（DeepSeek,任何模型都适用）

			
		

	





	

		

			

				
					
DeepSeek-R1蒸馏Qwen3-8B模型，双 4090本地部署，深得我心

				
			

			

				

					
				

				

					06-05
					
					1499
					
				

			

		

		

			
				
《DeepSeek-R1-0528-Qwen3-8B模型实测：2张4090部署，性能接近32B大模型》 文章介绍了DeepSeek最新开源的数学推理专用模型DeepSeek-R1-0528-Qwen3-8B，该模型通过思维链蒸馏技术训练，在AIME数学竞赛测试中86.0分，性能超越原版Qwen3-8B 10%，接近Qwen3-32B水平。作者使用2张4090显卡通过vLLM成功部署该16GB模型，推理速度达90 tokens/s（Qwen3-32B为40 tokens/s）。实测显示，该模型在自我介绍、代码

			
		

	





	

		

			

				
					
DeepSeek-R1升级：8B蒸馏模型性能比肩Qwen3-235B，已上架 Ollama，可本地部署

				
			

			

				

					2301_81940605的博客
				

				

					06-04
					
					800
					
				

			

		

		

			
				
Ollama 为本地部署大模型的框架，DeepSeek-R1-0528-Qwen3-8B 已上架 Ollama，感兴趣的读者可尝试安装 Ollama，在本地部署运行 DeepSeek-R1-0528 模型。

			
		

	





	

		

			

				
					
DeepSeek-R1-0528-Qwen3-8B本地ollama下载

				
			

			

				

					06-05
				

			

		

		

			
				
首先，用户的问题是关于如何下载并使用DeepSeek-R1-0528-Qwen3-8B...DeepSeek-R1-0528-Qwen3-8B部署本地后，可用于离线LLM任务，如文本生成或微调（结合类似Lora工具）。成功率取决于系统资源（8B模型需~8GB RAM）。

			
		

	





	

		

			

				
					
2025 最新 DeepSeek-R1-Distill-Qwen-14B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB * 2)

				
			

			

				

					MnivL的博客
				

				

					02-06
					
					1万+
					
				

			

		

		

			
				
本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-14B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。

			
		

	





	

		

			

				
					
谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

				
			

			

				

					硅基创想家的博客
				

				

					02-18
					
					1411
					
				

			

		

		

			
				
微调像DeepSeek - R1这样的大规模人工智能模型可能需要大量资源，但借助正确的工具，在消费级硬件上进行高效训练是可行的。让我们来探索如何使用LoRA（低秩自适应）和Unsloth来优化DeepSeek - R1的微调，实现更快、更具成本效益的训练。🚀🔧💡。

			
		

	





	

		

			

				
					
国产大模型deepseek-R1 0528重大更新！接入mcp，写3D小游戏只要5分钟！

				
			

			

				

					seeyouintokyo的博客
				

				

					05-30
					
					1051
					
				

			

		

		

			
				
那么小，又那么强

			
		

	





	

		

			

				
					
DeepSeek-R1私有化部署——使用Python实现DeepSeek-R1-Distill-Qwen模型部署调用与流式输出

				
			

			

				

					知来者逆的博客
				

				

					03-01
					
					1554
					
				

			

		

		

			
				
DeepSeek-R1-Distill-Qwen 是 DeepSeek 团队基于 DeepSeek-R1 模型通过蒸馏技术生成的一系列轻量化模型。这些模型在保持高性能推理能力的同时，显著降低了计算资源和内存需求，适合在资源受限的环境中部署。DeepSeek-R1-Distill-Qwen 系列模型是通过从 DeepSeek-R1 模型中提取推理模式并迁移到更小的模型架构中生成的。

			
		

	





	

		

			

				
					
DeepSeek-R1-0528-Qwen3-8B为底座微调领域大模型准备:制作领域专用数据集

				
			

			

				

					Ven%的博客
				

				

					06-05
					
					311
					
				

			

		

		

			
				
想要微调领域大模型，数据的准备是必不可少的。然而微调大模型需要的数据极多，这样花费很多人力和准备。有没有方便又高效的方法？一下子就可以准备大量的领域专用数据集呢？

			
		

	





	

		

			

				
					
一文了解并体验DeepSeek-R1-0528

					
最新发布

				
			

			

				

					qianggezhishen的专栏
				

				

					07-08
					
					1066
					
				

			

		

		

			
				
下面是可能会遇到的一些问题与解决建议问题原因解决方案输出中断max_tokens设置过低启动时添加GPU 内存不足模型层未合理卸载减少值生成速度慢（<1 token/s）CPU 模式或内存带宽瓶颈增加--threads数或启用 GPU中文输出不流畅提示词未明确指定语言在 System Prompt 添加“请用中文回答”总之，DeepSeek-R1-0528 是当前最强开源推理模型之一，尤其适合：• 需私有化部署的研究机构/企业• 追求低成本替代 GPT-4 级能力的开发者。

			
		

	





	

		

			

				
					
DeepSeek介绍及使用ollama本地化部署DeepSeek-R1大模型

				
			

			

				

					chengpei147的博客
				

				

					01-29
					
					8613
					
				

			

		

		

			
				
Ollama 是一个开源项目，它提供了一个框架和工具，用于在本地环境中运行、部署和管理大型语言模型（LLMs）。Ollama 旨在简化 LLMs 的使用，使得开发者和研究人员能够更容易地在自己的硬件上运行这些模型，而不需要依赖云服务或高性能计算资源。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
loong_XL

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值