Qwq 千问系列模型评测数据&私有化部署

收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

近期大家都知道阿里推出了自己的开源的大模型千问72B，据说对于中文非常友好，在开源模型里面，可谓是名列前茅。千问拥有有强大的基础语言模型，已经针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练，覆盖领域、语言（Qwen 模型在一系列基准数据集（）上优于类似模型大小的基线模型，这些数据集评估了模型在自然语言理解、数学方面的能力Qwen-72B 在所有任务上都比 LLaMA2-70B 取得了更好的性能，

本文介绍了如何在服务器部署国产开源的多模态大模型——通义千问

2025年3月6日，千问团队推出了 QwQ-32B，在一系列权威基准测试中，千问QwQ-32B 模型表现异常出色，几乎完全超越了OpenAI-o1-mini，比肩最强开源推理模型DeepSeek-R1

先给大家介绍一下今天的主角Ollama：Ollama是一个强大的工具，它能在本地轻松部署和运行大型语言模型，如Gemma, 助你轻松跨过这道门槛。

QwQ-32B是来自Qwen的一个320亿参数的推理模型，擅长复杂问题求解。数学推理玩井字棋等游戏利用推理能力解决复杂问题生成具有真实物理模拟的代码可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。

在当今科技飞速发展的时代，人工智能无疑是最耀眼的领域之一，而大模型则是其中的核心驱动力。2025 年 4 月 29 日凌晨，阿里巴巴开源新一代通义千问模型 Qwen3，犹如一颗重磅炸弹，在全球人工智能领域掀起了巨大的波澜。Qwen3 的开源，瞬间吸引了全球开发者、研究机构和企业的目光，发布短短 2 小时，Qwen3 模型在 GitHub 上的 star 数就已超过 16.9k，其受欢迎程度可见一斑。它的出现，直接登顶全球最强开源模型王座，参数量仅为 DeepSeek-R1 的 1/3，但成本大幅下降，性能却

中国生成式AI的每一次突破，从来不是某家企业的独角戏，而是产学研用协同攻坚的交响曲。开年DeepSeek的爆火，成为中国乃至世界生成式AI产业的关键拐点。它颠覆了“堆砌算力”的固有路径，开辟出一条“效率优先”的创新路径，催化开源、推理模型与AI Infra研发热潮，更为端侧AI与国产AI算力基础设施的落地应用注入了新动能。站在技术与产业共振的历史节点，我们每一个人，都正在见证和参与一场激动人心的技术跃迁。春天来了，生成式AI的浪潮更加波涛汹涌，未来正呼啸而至。

DeepSeek于2025年2月提出Native Sparse Attention（NSA）技术，解决传统稀疏注意力训练与推理阶段能力下降问题。该技术实现训练与推理全流程兼容，在64K上下文任务中，后向传播速度提升6倍，解码速度提升11.6倍，显著降低计算成本。新一代模型DeepSeek V3-0324采用MoE架构，参数规模达685B，支持128K超长上下文窗口，可解析50页PDF文档或完整代码库。

今天想分享如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。

通义千问大模型部署

DeepSeek 开源了完整的 deepseek-r1 671B 的权重，同时也开源了一些蒸馏出来的小的Disstill 小模型。从论文给出的评测表看，蒸馏出的 qwen-14b 模型的能力完全不输 OpenAI-o1-mini。　

Qwen是阿里巴巴集团Qwen团队的大型语言模型和大型多模态模型系列。现在大型语言模型已经升级到Qwen2.5。语言模型和多模态模型都是在大规模多语言和多模态数据上进行预训练的，并在符合人类偏好的高质量数据上进行后训练。Qwen具有自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、人工智能代理等功能。在Qwen2发布的过去三个月里，许多开发人员在Qwen2语言模型上构建了新的模型，向我们提供了宝贵的反馈。在此期间，我们专注于创建更智能、知识更丰富的语言模型。

阿里开源了当前最强的千问3（Qwen3）模型，包含从0.6B到235B的非常全面的规格，总有一款适合你。

快速开始（PAI-QuickStart）是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。

在实际搭建过程中，请结合最新的官方文档和技术指南，根据你的业务需求、预算以及技术方案的具体情况进行资源规划。同时，务必关注模型版本更新和最新发布的最佳实践，因为随着时间推移，模型优化和部署策略可能会有所变化。