01.文章概述
本文旨在探究提示设计对大语言模型(LLMs)在严重主动脉瓣狭窄临床决策中性能的影响。回顾性分析231例患者数据,构建多种提示设计策略,用GPT - 4o进行查询。结果显示,引导式思考的树状思维(ToT)提示准确性最高,且与专家决策最相符,提示设计显著影响LLMs性能。
研究背景
大语言模型(LLMs)在医疗领域有临床决策支持潜力,但提示工程的重要性常被低估。多数评估LLMs的研究用合成或既有数据集,对真实患者案例研究有限,且其在真实患者决策中的潜在偏差研究不足。因此,作者假设提示设计对复杂心脏病场景下LLMs性能起关键作用,开展研究以优化主动脉瓣狭窄治疗推荐,评估模型输出一致性。
02.研究思路
- 提出研究问题
:提示设计对大语言模型在复杂心脏病决策中的性能影响未知,尤其在主动脉瓣狭窄治疗决策中。
- 构建研究框架
:回顾患者数据,构建多种提示设计策略,用GPT - 4o查询,以准确性等为评估指标。
- 选择研究方法
:采用回顾性研究,结合零样本、思维链、树状思维等提示策略及少量样本、引导思考、自我一致性等技术。
- 分析数据
:用重复测量方差分析、Wilcoxon检验等统计方法分析数据。
- 得出结论
:根据数据分析结果,得出提示设计影响LLMs性能的结论。
五、研究结果
-
引导式思考的ToT提示准确性最高,为94.04%,显著优于其他提示。
-
少量样本提示中,9个示例准确性最高,与准确性呈倒U型关系。
-
自我一致性提升了整体准确性,对ToT提示效果更明显。
-
各提示对TAVI敏感性好,特异性有差异;LLMs总体倾向保守治疗,引导式思考的ToT提示除外。
表1所有测试提示汇总,结合提示类型和技术a
图1使用大型语言模型的不同临床决策方法每个矩形代表一个“想法”,一个连贯的语言序列,作为做出治疗决定的中间步骤。自我一致性依赖于独立地多次重复相同的查询,并通过多数投票保留最终决定。(A)无自洽;(B)有自洽。
图2研究工作流程。AI,人工智能; SAVR,外科主动脉瓣置换术; TAVI,经导管主动脉瓣植入术。
图3提示长度和平均准确度之间关系的森林图。(A)以对数表示的提示长度(词语基元)。(B)以示例数表示的提示长度,用于少拍提示。每个图形都显示了一个线性混合模型,该模型具有线性(虚线)和二次(实线)拟合沿着P值。
图4提示类型和提示技术的平均准确度比较条形图。(A)显示三种提示类型(0次激发、CoT和ToT)的平均准确度,并显示用于相互比较的P值。(B)右侧显示不同提示技术(自由思维和引导思维、少量提示)的平均准确度,左侧显示有无SC的总体平均准确度。包括技术间一致性的P值。
03.研究结论、不足与展望
- 研究结论
:提示设计显著影响LLMs在严重主动脉瓣狭窄临床决策中的性能。树状思维提示显著提高准确性,使推荐与专家决策更一致,但LLMs倾向保守治疗。
- 研究的创新性
:首次证明提示设计对LLMs临床决策准确性有强影响,引导式思考的ToT提示表现最佳,且在真实患者数据上评估LLMs结构化决策输出。
- 研究的不足之处
:仅用单一模型,未微调或医学训练;临床案例未完全反映真实复杂性;存在潜在的种族、性别和本地实践偏差;少量样本提示的最佳示例数量通用性待验证;使用单中心回顾性数据。
- 研究展望
:可尝试多模态输入;控制患者偏好和潜在偏差;探索不同模型和超参数;开展前瞻性多中心验证;研究自我一致性所需的重复查询次数;创建基于树状思维的预训练模型。
- 研究意义
:强调了提示工程对优化LLMs性能的重要性,为将AI辅助工具集成到心血管护理中以改善患者预后提供了依据。
之前商界有位名人说过:“站在风口,猪都能吹上天”。这几年,AI大模型领域百家争鸣,百舸争流,明显是这个时代下一个风口!
那如何学习大模型&AI产品经理?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!
如果你也想通过学大模型技术去帮助就业和转行,可以点扫描下方链接👇👇
大模型重磅福利:入门进阶全套104G学习资源包免费分享!
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图(还有视频解说)
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了,这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势,构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!
如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!
应届毕业生:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓