【精彩回顾】浙江大学专场-- 存内计算驱动AI算力与应用生态链创新-CSDN博客

本文链接：https://blog.csdn.net/m0_58966968/article/details/150427024

当 AGI 浪潮席卷而来，AI 底层算力正成为重构智能时代的核心引擎。而存内计算 —— 这一打破冯诺依曼架构瓶颈的革命性技术，正以「降本 70%、功耗降 90%、性能提升 4-10 倍」的硬核实力，成为 AIoT、智能驾驶、边缘计算等领域的关键推手。据 IDC 预测，未来 5 年存内计算市场规模将暴增 10 倍，2025 年全球芯片出货量将突破 1 亿颗，一场算力革命已箭在弦上。

开发者集结号：浙大专场活动亮点抢先看

3 月 15 日，浙江大学紫金港校区迎来一场 AI 技术盛宴！由存算一体开发者社区与浙大人工智能协会联合主办的「存内计算驱动 AI 算力与应用生态链创新」专场活动，汇聚产学研顶尖力量：

存算一体开发者社区首个聚焦存算一体的开发者社区，联合高校，研究院与企业，依托前沿算力架构，首发技术开源与实战训练营，构建全链路生态。通过开源生态、沉浸式实训与产学研协同，降低技术门槛，加速算力创新商业化。聚焦大模型、AIOT等场景，助力开发者实现从创意到落地的价值跃迁，共塑存算一体新未来。https://cimbbs.com/web/

前沿洞察：Rokid 高级产品技术总监赵维奇解析《AI+AR 人机交互产品的探索与实践》，知存科技算法专家叶小培深度解读《面向多模态的存内计算应用生态系统》。
实战进阶：Gitcode G-Star 项目负责人吕叶探讨开源 AI 的核心价值，更有「存内计算训练营」手把手教你在开发板上部署 OpenData Lab 数据集。
生态联动：Rokid、知存科技、OpenDatalab 等领军者齐聚，从多模态大模型到跨语言智能工具，打通 AI 全链路创新。

一、《AI+AR 人机交互产品的探索与实践》—— 赵维奇（Rokid 高级产品技术总监、全球开发者生态负责人）

赵维奇的分享聚焦于 AR 与 AI 深度融合的技术突破与场景落地，核心围绕 Rokid 在 “下一代个人计算终端” 领域的实践展开：

技术底层架构：详细介绍了 Rokid 自研的空间操作系统 YodaOS-Master，以及芯片、光学模组、手势交互等软硬一体化能力。该系统实现了场景感知、空间调度、多模态交互的全链路协同，为 AR 设备提供了稳定高效的底层支撑。
产品创新特性：以 Rokid AR Lite 为例，阐述了 “轻量化 + 强性能” 的设计理念 —— 等效 6 米外 300 吋高清大屏的视觉体验、三联屏多任务并行能力、逐帧级防抖的 “运动模式”，解决了传统 AR 设备 “笨重”“画面抖动” 的痛点，让用户可在床、沙发、户外等多场景自由使用。
场景落地案例：结合与《黑神话：悟空》的合作，展示了 AR 如何打破 “实体屏幕边界”—— 通过空间融合技术让游戏角色 “走进” 现实空间，用户可通过手柄 + AR 眼镜实现随时随地的沉浸式战斗，重新定义了 3A 游戏的交互形态。
开发者生态构建：提出 “AR+AI 开发者协同计划”，开放 Rokid AR 设备的开发接口与工具链，支持开发者基于 AR 终端开发教育、办公、娱乐等垂直场景应用，降低创新门槛。

二、《面向多模态的存内计算应用生态系统》—— 叶小培（知存科技算法专家）

叶小培的演讲系统串联了多模态技术与存内计算的协同逻辑，结合技术原理与实践案例展开：

多模态技术核心解析：
- 定义：多模态是通过整合文本、图像、音频等多类型数据提升系统理解能力的技术，当前以多模态大模型为核心形态（如 DeepSeek-VL）。
- 优势：信息互补（如文本描述 + 图像细节）、鲁棒性增强（某一模态缺失时其他模态补位）、性能跃升（融合后任务准确率显著提升）。
- 案例：以 DeepSeek-VL 为例，详解其 “混合视觉编码器（SAM-B 负责语义识别 + SigLIP-L 负责视觉定位）+ 视觉 - 语言适配器 + 大语言模型” 的三层架构，以及三阶段训练逻辑（建立视觉 - 语言关联→平衡多模态比例→增强指令遵循能力），展示多模态模型如何实现跨模态理解（如根据图像创作七言绝句）。
存内计算技术支撑：
- 痛点破解：直指冯诺依曼架构 “内存墙”“功耗墙” 问题 —— 数据在存储器与处理器间频繁传输导致 62.7% 的功耗浪费，存内计算通过 “原位存储 + 原位计算” 消除数据搬运，实现算力效率跃升。
- 技术优势：相同算力下成本降 70%、功耗降 80%-90%，性能较传统芯片提升 4-10 倍，尤其适配多模态大模型 “海量数据并行计算” 的需求。
协同生态展望：提出 “多模态 + 存内计算” 的应用路径 —— 存内计算芯片为多模态模型提供高能效算力支撑，使其在端侧（如 AR 设备、智能终端）实现轻量化部署，举例说明存内计算如何支持端侧设备实时处理图像 + 文本 + 音频的融合任务。

三、《用 AI 重塑我的工作流》—— 许文豪（浙江大学人工智能协会负责人）

许文豪的分享以 “Agentic Workflow（智能代理工作流）” 为核心，结合实操案例解析 AI 如何重构任务流程：

工作流的本质与 AI 变革：
- 传统工作流痛点：复杂任务拆解低效、重复操作耗时、跨工具协作繁琐（如数据处理→分析→可视化需多工具切换）。
- AI 破局逻辑：通过 “大模型 + 规划 + 记忆 + 工具” 的 Agent 架构，将复杂任务拆解为可执行的子步骤，实现流程自动化与智能化。
四大核心设计模式：
- Reflection（反思优化）：以 “代码编写 + 审查” 为例，通过两个 Agent 博弈（一个生成代码、一个审查优化），迭代提升输出质量。
- Tool Use（工具调用）：如 Kimi Chat 通过网页搜索、代码执行工具获取实时信息，解决大模型 “知识滞后” 问题；再如 AI 编程工具 Cursor 通过自然语言生成代码，实现 “需求→代码” 一步跳转。
- Planning（任务规划）：以 “生成同姿势女孩读书图像并语音描述” 为例，Agent 自动拆解步骤（姿势识别→图像生成→文本转语音），调用对应模型（openpose→vit-gpt2→fastspeech）完成流程。
- Multiagent Collaboration（多代理协作）：参考 ChatDev 工具，让 Agent 扮演 CEO、产品经理、工程师等角色，协同开发应用（如五子棋游戏），效率远超单 Agent。
实战案例分享：
- 语音笔记工作流：通过 iOS 快捷指令唤醒听写，AI 自动润色文本、提取关键词并存入备忘录，解决 “灵感转瞬即逝” 的痛点。
- 数据分析自动化：输入原始数据后，AI 自动生成 Python 脚本、绘制可视化图表（如小红书互动指标分布），将分析周期从小时级压缩至分钟级。
人机协同边界：强调 AI 并非替代人类，而是通过 “嵌入式（辅助信息）→副驾驶（协同决策）→智能代理（全流程执行）” 三级模式，释放人类创造力，核心价值公式为 “AI 效率 + 方法论 × 人性洞察”。

四、《当我们讨论 "开源 AI" 时，我们在讨论什么》—— 吕叶（Gitcode G-Star 项目负责人）

吕叶的演讲聚焦开源生态对 AI 技术落地的核心价值，结合存内计算领域实践展开：

开源 AI 的核心命题：
- 降低创新门槛：通过开源工具、数据集、模型，让中小企业与开发者无需重复 “造轮子”，快速切入技术研发（如存内计算社区开源的 witin-nn 工具，基于 PyTorch 实现模型到存算阵列的映射，简化开发流程）。
- 促进协同创新：开源生态打破企业与高校的技术壁垒，举例说明 GitCode 与存内计算社区合作的 “知存科技杯” 竞赛，通过开源数据集与评估标准，吸引全球开发者共同优化存算架构。
存内计算领域的开源实践：
- 工具链开源：如模型映射工具（支持 ONNX 模型中 Conv 算子参数提取、存算阵列权重排布优化）、模拟器（测试排布合理性与执行效率），配套完整文档与示例代码。
- 数据集共享：联合 OpenDatalab 开源 “万卷丝路” 多语言语料库，为多模态模型训练提供跨语言数据支撑，提升模型泛化能力。
开源生态的挑战与应对：
- 挑战：技术碎片化、维护成本高、商业价值平衡难。
- 解法：建立标准化协作框架（如统一模型接口、测试基准），通过 “社区贡献者激励计划”（如荣誉认证、资源倾斜）吸引持续参与，实现 “开源共享→技术迭代→产业落地” 的正向循环。