ICLR 2024 高分论文 | Step-Back Prompting 使大语言模型通过抽象进行推理

最新推荐文章于 2025-01-14 15:26:34 发布
最新推荐文章于 2025-01-14 15:26:34 发布
阅读量2.3k 收藏 22
点赞数 25
CC 4.0 BY-SA版权
分类专栏： 人工智能学习之路 文章标签： 提示工程 大语言模型 抽象 推理 Step-Back 提示
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fyfugoyfa/article/details/135129172
ICLR 2024 高分论文介绍了 Step-Back Prompting，这是一种让大语言模型通过抽象进行推理的新方法。论文展示了在 PaLM-2L、GPT-4 和 Llama 2-70B 上，该方法在 STEM、知识问答和多跳推理任务中显著提升性能。Step-Back Prompting 区别于 RAG，它先抽象再推理，提高了解决复杂问题的能力。

文章目录

🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/

一、前言

ICLR 2024 高分论文：《Step-Back Prompting Enables Reasoning Via Abstraction in Large Language Models》

论文地址：https://openreview.net/forum?id=3bq3jsvcQ1

关键词：提示工程，大语言模型，推理，抽象

当论及抽象的目的时，其旨在创造一个全新的语义层面，从而使人们能够以绝对精

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一种新的提示工程技术，称为“后退提示” A New Prompt Engineering Technique Has Been Introduced Called Step-Back Promptin
AI天才研究院
10-21 518
正如我们在大多数已发布的提示技术中看到的那样，当查询需要复杂的多步骤推理时，大型语言模型 (LLM) 需要指导，而分解是解决复杂请求时的关键组成部分。下面的文本显示了一个完整的 STP 示例，其中包括原始问题、后退问题、原则以及 LLM 生成最终答案的提示。这项技术还展示了静态提示的范围，并清楚地表明，随着复杂性的增加，需要使用更多的增强工具，如提示链和自主代理。该图表显示了遵循抽象和推理方案的后退提示的强大性能。后退提示修复了 39.9% 的基线预测错误的预测，同时导致 5.6% 的错误。
通过Step Back提示增强LLM的推理能力
安静的软件工程师
03-09 1215
通过Step Back提示增强LLM的推理能力
ICLR 2024录用率31%！精选10篇高分论文分享！（附PDF）
2401_82426425的博客
01-18 1686
本文指出视觉Transformer（ViT）在有监督和自监督学习中出现的一些问题，特别是在图像的低信息区域产生的伪像，并提出了一种简单方法，通过添加额外令牌到输入序列来解决这些问题。本文中，研究人员利用基于分数的生成模型（SGM）的特定结构来解决一系列中间的线性逆问题，这些问题随着噪声水平的降低逐渐接近原始逆问题的目标后验。研究人员使用顺序蒙特卡洛（SMC）方法从这些后验序列中采样，提出的MCGDiff算法在理论上得到了证明，并在处理病态的贝叶斯逆问题时的数值模拟中展现了优于竞争基线的效果。
退一步，看得更远：通过抽象引发大型语言模型中的推理
一只小蒟蒻的博客
03-27 652
转载自：退一步，看得更远：通过抽象引发大型语言模型中的推理 [译] 注：“Step Back”的意思是“退后一步”、“抽象思考”或者“从高层次审视”。这里 “Step-Back Prompting” 翻译为“退一步提示法”，表示思考和解决问题时先退后一步，从高层次进行考虑。 Huaixiu Steven Zheng、Swaroop Mishra1、Xinyun Chen、Heng-Tze Cheng Ed H. Chi、Quoc V Le、Denny Zhou Google DeepMind 共同贡献 摘要
LLM之RAG理论（三）| 高级RAG技术全面汇总
wshzd的博客
12-27 3297
让我们看一看多文档代理方案（https://docs.llamaindex.ai/en/stable/examples/agent/multi_document_agents.html）——一个非常复杂的设置，包括在每个文档上初始化一个代理（OpenAIAgent（https://docs.llamaindex.ai/en/stable/examples/agent/openai_agent.html）），能够进行文档摘要和经典的QA机制，以及一个顶级代理，负责将查询路由到文档代理并进行最终答案合成。
ICLR2024论文解读|DP-OPT: MAKE LARGE LANGUAGE MODEL YOUR PRIVACY-PRESERVING PROMPT ENGINEER差分隐私离线提示微调
paixiaoxin的博客
01-13 391
本文提出了一种名为Differentially-Private Offsite Prompt Tuning（DP-OPT）的新方法，旨在解决大型语言模型（LLM）提示微调中的数据隐私问题。DP-OPT通过在客户端调整离散提示，并将其应用于云端模型，确保了数据的保密性和隐私性。该方法利用差分隐私技术，生成可在不同模型间迁移的提示，同时保护了提示不泄露私人信息。实验表明，DP-OPT在多种语言任务上表现出色，与非私有方法相比具有竞争力。
ICLR24大模型提示(8) | 退一步思考：在大型语言模型中通过抽象引发推理
码农的科研笔记
06-08 1130
论文提出了一种名为STEP-BACK PROMPTING的新方法，旨在通过抽象和推理两个步骤来提高大型语言模型在复杂推理任务上的表现。这一方法的灵感来源于人类在面对复杂问题时常常会先退一步，从更高的层次上进行抽象，得到指导问题求解的概念或原理。STEP-BACK PROMPTING的第一步是通过少量示例来演示如何进行抽象，即提示模型从给定的具体问题中抽取出高层次的概念或原理。第二步是在这些高层次概念或原理的基础上进行推理，以得出原始问题的答案。
ICLR2024论文解读|FEW-SHOT DETECTION OF MACHINE-GENERATED TEXT USING STYLE REPRESENTATIONS 基于风格表示的少样本机器生成
paixiaoxin的博客
01-14 413
随着指令微调语言模型的出现，其生成的文本能够高度模仿人类写作，这带来了滥用的风险。本文提出了一种少样本检测方法，利用从人类撰写文本中估计的写作风格表示来检测机器生成的文本。研究发现，有效区分人类作者的特征同样适用于区分人类与机器作者，包括先进的大型语言模型如Llama-2、ChatGPT和GPT-4。此外，该方法还能预测特定语言模型生成的文档。实验结果表明，该方法优于现有的少样本学习方法和零样本基线。
ICLR2024论文解读|Denoising Diffusion Step-aware Models去噪扩散步长感知模型
paixiaoxin的博客
01-13 343
本文提出了去噪扩散步长感知模型（DDSM），旨在解决去噪扩散概率模型（DDPMs）在数据生成过程中每一步都需要全网络计算导致的高计算开销问题。DDSM通过进化搜索确定每个生成步骤的重要性，并据此调整神经网络的大小，有效避免了在不重要步骤中的冗余计算，提高了扩散模型的效率。实验结果表明，DDSM在多个数据集上实现了显著的计算节省，同时保持了生成质量。
【LLM 论文】Step-Back Prompting：先解决更高层次的问题来提高 LLM 推理能力
VLyb
05-10 2381
通过一些 few-shot exemplar 即可使用 in-context learning 来学会，
[论文笔记]思维链提示的升级版——回退提示
日积月累，天道酬勤
07-30 876
⭐ 作者提出了回退提示技术，使大模型能够进行抽象，从包含具体细节的实例中推导出高层次的概念和基本原则。通过利用这些概念和原则来指导推理，LLMs显著提高了按照正确推理路径解决问题的能力。
LLM准确率飙升27%！DeepMind提出全新「后退一步」Prompt技术
Paper weekly
12-01 235
©作者 |拉燕来源 |新智元谷歌DeepMind全新提示技术「Step-Back Prompting」，让LLM性能拉满！前段时间，谷歌DeepMind提出了一种全新的「Step-Back Prompting」方法，直接让prompt技术变得脑洞大开。简单来说，就是让大语言模型自己把问题抽象化，得到一个更高维度的概念或者原理，再把抽象出来的知识当作工具，推理并得出问题的答案。论文题目：Take...
大模型提示工程之【后退提示 step back prompting】
rinceyuan的专栏
08-10 468
大模型提示工程之【后退提示 step back prompting】
使用RAG技术构建企业级文档问答系统：检索优化Step-Back Prompting
嘴巴吃糖了
11-08 903
跟CoT要解决的问题类似，本质上都是In-Context Learning，区别在于CoT是让LLM将求解步骤分开，不要一次输出所有结果，但对于一些复杂的数理问题，如果不知道要用什么理论、公式去解决，即使一步步求解也依然无法获得正确的答案，这就是Take a Step Back这篇论文提出的动机，它通过Prompt让LLM“退后一步”，不要直接尝试解决问题，而是思考解决这个问题更高层次、更抽象的问题是什么。
LLM退一步提示法解读
KQe397773106的博客
03-15 965
这个后退一步提示法，和传统的思考链（CoT）又有所不同，思考链是将复杂的问题拆分成若干步骤，这依赖于人类对问题分解，或者让 LLM 去对问题进行分解，但是对于上面这两个例子，并不好对问题进行分解，就像图中的例子，如果问题不能很好的分解成合理的步骤，CoT 也得不到正确的结果。而后退一步提示法，本质上不是对问题分解，而是从另一个角度，从更高的层次上，提出一个相关的问题，能为原始的问题补充有效的上下文信息，当有了这些有效的上下文信息，LLM 就可以很容易的得到正确的结果。
LLM之RAG实战（三十五）| 使用LangChain的3种query扩展来优化RAG
wshzd的博客
03-28 2068
RAG有时无法从矢量数据库中检索到正确的文档。比如我们问如下问题：从1980年到1990年，国际象棋的规则是什么？RAG在矢量数据库中进行相似性搜索，来查询与国际象棋规则问题相关的相关文档。然而，在某些情况下，我们的向量数据库没有存储完整的信息，例如，我们的矢量数据库没有存储不同年份的规则。这样，数据库可以返回与国际象棋规则相关但与特定问题不直接相关的文档。针对上述情况，我们可以采用查询扩展技术，该技术可以对用户的原始查询生成更全面、信息更丰富的搜索。这个新生成的查询将从矢量数据库中获取更多相关文档。
tika-parser-font-module-3.1.0.jar中文-英文对照文档.zip
最新发布
09-07
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
perl-SelfLoader-1.23-420.el8.tar.gz
09-07
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
tika-parser-audiovideo-module-3.1.0.jar中文-英文对照文档.zip
09-07
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
ICLR 2021论文介绍：CATER-h数据集与时空推理
这些视频片段设计有特定的难度级别，旨在挑战和提升视频推理模型的性能。 在这个数据集的使用说明和相关代码中，研究者们详细阐述了数据集的创建过程，以及如何使用Hopper模型来训练和评估视频推理任务。开发者和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值