必学！让大模型拥有智能记忆能力，小白也能轻松掌握的收藏级教程

最新推荐文章于 2025-09-09 23:59:35 发布

AI大模型知识库Agent

最新推荐文章于 2025-09-09 23:59:35 发布

阅读量895

点赞数 20

CC 4.0 BY-SA版权

文章标签：系统架构深度学习人工智能职场和发展机器学习大模型

本文链接：https://blog.csdn.net/yihanss/article/details/151118548

Memory-R1框架通过两个强化学习微调代理解决LLM记忆问题：内存管理器动态更新外部记忆库(添加、更新、删除或忽略信息)，答案代理过滤无关记忆生成高质量答案。该框架无需人工标注内存操作，通过试错学习优化任务性能，有效解决了传统RAG系统噪音干扰问题，使大模型能更智能地管理记忆并提升回答准确性。

大型语言模型(LLM)目前在聊天机器人、编码助手、问题解答、创意写作等等应用方面取得了巨大的成功。

但是，每个查询到达LLM之前没有记忆的，固定上下文窗口（context windows），意味着他们无法在长时间的对话或多会话任务中积累持久的知识，并且很难推理复杂的历史。

最近的解决方案,如检索增强生成(RAG),将过去的信息附加到提示中,但这通常会导致嘈杂的,未经过滤的上下文，用太多无关的细节或缺失的关键事实淹没模型

Memory-R1框架，通过LLM代理学习主动管理和利用外部内存,决定在回答问题时添加、更新、删除或忽略什么,并过滤掉噪音。

为什么学习记忆

在RAG系统检索信息过程中，不相关的条目会污染推理,模型被噪音分散注意力。

相比之下,人类广泛检索，随后有选择地过滤重要的东西，才是我们需要的信息。

然而大多数人工智能记忆系统是静态的，是依靠手工制作的启发式来记住什么,而不是从反馈中学习，这带来了巨大的局限性。

Memory-R1 框架

Memory-R1 围绕两个专门的 RL 微调代理构建:

内存管理器 :决定每次对话转动后要执行哪些内存操作（ADD、UPDATE、DELETE、NOOP ) , 动态更新外部内存库。
答案代理 :对于每个用户问题,检索多达60个候选记忆,distills将它们提炼成最相关的子集,然后通过此过滤上下文来生成答案。

这两个组件都使用强化学习RL(使用近端策略优化(PPO)或组相对策略优化(GRPO))进行训练,仅以问题回答正确性为奖励信号。这意味着：代理不需要手动标记的内存操作,而是通过试错来学习,优化最终任务性能。

内存管理器:学习编辑知识

每次对话后,LLM都会提取关键事实。然后内存管理器从内存库中检索相关条目,并选择操作:

添加 : 插入尚未存在的新信息。
更新 :在现有记忆中合并新细节,当它们详细阐述或提炼以前的事实时。
删除 :删除过时或矛盾的信息。
NOOP :如果添加任何相关内容,则保持内存不变。

内存管理器根据答案代理从新编辑的内存库生成的答题质量进行更新。如果内存操作使 Answer Agent 能够准确响应,则内存管理器将获得正值奖励。outcome-driven reward这种结果驱动的奖励消除了对内存操作进行昂贵的手动注释的需求。

示例 :当用户第一次提到收养一只名叫Buddy的狗时,然后补充说他们收养了另一只名为Scout的狗,系统可能会删除“Buddy”并添加“Scout”,将其视为矛盾。然而,updates RL训练的内存管理器更新了内存:“收养了两只狗,Buddy和Scout”,保持了一个连贯的,不断发展的知识库。

答案代理:选择性推理

对于每个问题,系统使用RAG检索多达60个候选记忆。但是,答案代理并没有将所有这些内容都输入到LLM。首先蒸馏了该集合，只保留最相关的条目。只有这样,它才能产生答案。

训练 : 答案代理也使用RL进行训练exact match,使用其答案和标准答案之间的精确匹配作为奖励。filtering out noise****这鼓励它专注于过滤噪音和推理在高质量的上下文。

示例 : 询问“约翰住在海滩或山脉附近吗 ? ” , 香草LLM可能会输出“山 ” , 受到不相关记忆的影响。然而,Memory-R1的Answer Agent在回答之前只显示与海滩相关的条目,从而得出正确的“海滩”响应。

大模型未来如何发展？普通人能从中受益吗？

在科技日新月异的今天，大模型已经展现出了令人瞩目的能力，从编写代码到医疗诊断，再到自动驾驶，它们的应用领域日益广泛。那么，未来大模型将如何发展？普通人又能从中获得哪些益处呢？

通用人工智能（AGI）的曙光：未来，我们可能会见证通用人工智能（AGI）的出现，这是一种能够像人类一样思考的超级模型。它们有可能帮助人类解决气候变化、癌症等全球性难题。这样的发展将极大地推动科技进步，改善人类生活。

个人专属大模型的崛起：想象一下，未来的某一天，每个人的手机里都可能拥有一个私人AI助手。这个助手了解你的喜好，记得你的日程，甚至能模仿你的语气写邮件、回微信。这样的个性化服务将使我们的生活变得更加便捷。

脑机接口与大模型的融合：脑机接口技术的发展，使得大模型与人类的思维直接连接成为可能。未来，你可能只需戴上头盔，心中想到写一篇工作总结”，大模型就能将文字直接投影到屏幕上，实现真正的心想事成。

大模型的多领域应用：大模型就像一个超级智能的多面手，在各个领域都展现出了巨大的潜力和价值。随着技术的不断发展，相信未来大模型还会给我们带来更多的惊喜。赶紧把这篇文章分享给身边的朋友，一起感受大模型的魅力吧！

那么，如何学习AI大模型？

在一线互联网企业工作十余年里，我指导过不少同行后辈，帮助他们得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑。因此，我坚持整理和分享各种AI大模型资料，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频。在这里插入图片描述