LLM - 大模型推荐系统范式 生成式推荐器(Generative Recommenders) 简读

已于 2024-12-07 06:38:45 修改
阅读量1.3k 收藏 18
点赞数 30
CC 4.0 BY-SA版权
分类专栏： 大模型 (LLM) 文章标签： 人工智能 LLM 推荐系统 DLRM GR HSTU 大模型推荐系统
于 2024-12-04 20:57:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/144249767

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/144249767

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

GRs

Meta 论文：Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations

生成式推荐器(Generative Recommenders, GRs) 是 大模型推荐系统范式，将推荐问题重新定义为序列直推任务，设计新的架构 层次序列直推单元 HSTU(Hierarchical Sequential Transduction Un

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM - 使用 大模型(LLM) 辅助 推荐系统(RS) 概述
AGI
09-13 4082
大模型(LLM) 与 推荐系统(RS) 的结合，主要通过 (1)特征工程、(2)特征编码、(3)评分/排序函数、(4)用户交互、(5)推荐系统流程控制等。LLM 提取和增强用户和商品的文本/多模态特征，作为特征编码器，将文本信息转换为向量表示，在评分和排序任务中，直接预测用户对商品的评分，或生成推荐项目。此外，LLM 在用户交互方面能够理解用户查询和意图，提供更准确的推荐，在推荐流程中，作为控制器，管理整个推荐过程。LLM 还通过模型融合与传统推荐模型结合，利用其文本处理能力，与传统模型的推荐算法优势互补。
[论文笔记] 可解释的深度生成推荐模型
心宝的博客
12-29 677
abstract 推荐系统中用户偏好建模的目的是根据用户之前的行为数据发现用户的内在偏好，从而改善用户体验。这是一个具有挑战性的问题， 因为用户偏好通常具有复杂的结构，例如 用户间偏好的相似性（类间相似性）和 用户内部偏好的多样性（类内多样性）。 其中，用户间相似性表示不同用户可能有相似的偏好，而用户内多样性表示一个用户可能有多个偏好。在文献中，深度生成模型由于其对 统计分布的灵活性和 较强的非线性表示学习能力 已成功应用于推荐系统。然而，在处理复杂的用户偏好时，它们会受到简单生成过程的影...
基于用户偏好的生成式推荐技术：让大模型更懂你的心
最新发布
mobingyu的博客
04-17 476
在当今信息爆炸的时代，推荐系统已成为连接用户与内容的关键桥梁。然而，传统推荐系统往往面临"千人一面"的困境，难以真正理解每个用户的独特偏好。北京智谱华章科技有限公司的最新专利(CN202411829658.3)提出了一种创新的生成式推荐方法，通过将用户偏好深度融入大语言模型的提示工程中，实现了真正个性化的推荐体验。
【RS】OneRec快手-生成式推荐模型
发现问题，并解决问题，批判性思维
03-15 5776
本文提出了一种名为 OneRec 的统一生成式推荐框架，旨在替代传统的多阶段排序策略，通过一个端到端的生成模型直接生成推荐结果。OneRec 的主要贡献包括： 编码器-解码器结构：采用稀疏混合专家（MoE）架构扩展模型容量，提升对用户兴趣的建模能力。 会话式生成方法：与传统的逐点预测不同，OneRec 提出会话式生成方法，生成整个推荐列表，更好地捕捉上下文信息。 迭代偏好对齐模块：结合直接偏好优化（DPO），通过奖励模型（RM）生成偏好数据，优化生成结果。 实验表明，OneRec 在大规模工业数据集
ICML 2024 | 面向第三代推荐系统：Meta提出首个生成式推荐系统模型
Paper weekly
05-13 6137
©作者 |杨平安研究方向|推荐算法Highlight特征序列化：将所有的 id / categorical 特征做成一个序列，丢弃所有的数值特征。并将召回和排序统一定义为序列建模任务。模型结构：采用 HSTU（Hierarchical Sequential Transduction Units）结构，在 8192 长度的序列上相比于 FlashAttention2 实现了5.3x到15...
行动胜过言语: Meta落地工业界首个万亿级别参数的生成式推荐系统模型
Kaiyuan_sjtu的博客
03-28 5967
大家好，这里是NewBeeNLP。今天分享一篇Meta最新的工作：借鉴LLMs思路重塑推荐系统范式，实现推荐系统的scaling。该工作第一次在核心产品线替换掉了近十年工业界长期使用的基于海量异构特征的深度推荐模型， 在模型规模、业务效果、性能加速等方面都相当亮眼。有可能成为工业级推荐系统大规模scaling的开创性工作。链接：https://arxiv.org/abs/2402.17152Mot...
【NeurIPS 2023】DreamRec：生成式推荐新范式
Kaiyuan_sjtu的博客
12-13 801
后台留言『交流』，加入 NewBee讨论组长久以来，推荐任务被视为判别式任务（Learning to Classify）：给定用户的交互历史，基于判别式的传统推荐模型通过优化正样本（观察到的用户交互）和负样本（通常通过负采样得到）的判别边界，来实现推荐模型的训练。然而，基于判别式的传统推荐系统存在天然的弊端：负样本在实际推荐场景中难以观测，大多通过人为的负采样策略来得到，难以保证负样本的真实性。此...
直接将LLM作为推荐系统的建模范式
AI天才研究院
10-29 844
《直接将LLM作为推荐系统的建模范式》 关键词： 生成式推荐 判别式推荐 语言模型（LLM） 推荐系统 深度学习 个性化推荐 摘要：
大模型融合推荐系统论文总结
hehehehejiejie的博客
05-24 2507
大模型融合推荐系统论文解读
人工智能|推荐系统——推荐大模型最新进展
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-27 1654
Embedding 已成为表示关于实体、概念和关联的复杂的信息的关键手段，并以简洁且有用的格式呈现。然而，它们通常难以直接进行解释。尽管下游任务利用这些压缩表示，但要进行有意义的解释通常需要使用降维或专门的机器学习可解释性方法进行可视化。本文解决了使这些嵌入更具解释性和广泛实用性的挑战，通过利用大语言模型（LLMs）直接与嵌入进行交互，将抽象向量转化为可理解的叙述。通过将嵌入注入LLMs，我们使复杂的嵌入数据可以进行查询和探索。
AIGC从入门到实战：AI 赋能推荐系统，提升用户黏性和用户体验
AI天才研究院
06-29 1150
在当今数字化时代，信息过载已成为一个普遍问题。用户每天都面临着海量的内容选择，如何在这个信息爆炸的时代找到真正感兴趣的内容成为一个巨大挑战。推荐系统（Recommender System，RS）应运而生，旨在为用户提供个性化的内容推荐，提高用户体验和满意度。随着人工智能技术的飞速发展，特别是大语言模型（Large Language Model，LLM）的出现，为推荐系统带来了新的机遇和挑战。LLM凭借其强大的自然语言理解和生成能力，为推荐系统的个性化用户行为预测提供了新的可能性。
[SIGIR23]生成式推荐论文Diffusion Recommender Model算法/理论简介
Blueghost19的博客
04-18 5480
以生成对抗网络（Generative Adversarial Network，GAN）和变分自编码器（Variational Auto-Encoder，VAE）为代表的生成模型已经被广泛地应用于对用户交互的生成过程进行建模。然而，它们存在固有的限制，例如GAN的不稳定性，和VAE的有限表达能力。这些限制阻碍了复杂的用户交互行为的生成过程，例如由于各种原因产生的噪声交互。
7种生成式Gen AI主流模型（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-26 3065
7种生成式Gen AI主流模型（非常详细），零基础入门到精通，看这一篇就够了
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommend
sss_white的博客
01-20 912
我们将推荐问题重新表述为生成式建模框架（“生成式推荐器”）中的顺序转换任务，并提出了一种新的架构 HSTU，该架构专为高卡度、非稳态流推荐数据而设计。深度学习推荐模型DLRMs：DLRMs特点是使用异构特征，如数字特征–计数器和比率、嵌入和分类特征。DLRMs 采用了各种神经网络来组合特征、转换中间表示并组成最终输出。DLRMs的异构特征：高卡片性 ID、交叉特征、计数器、比率在这项工作中，我们将用户行为视为生成建模的一种新模式。论文主要见解。
当推荐系统遇见大语言模型：通往未来的三条路径
Paper weekly
05-20 1982
©作者 | 张月鹏单位 |得物研究方向 | 搜推算法前言自从大语言模型爆火之后，大家对大语言模型（LLM）如何成功应用在推荐系统进行了不少尝试。个人一直觉得 LLM 在工业界推荐系统大部分情况还是离线应用，生成一些特征或者文本。至于其直接用作召回和排序模块，个人对这块的观点一直是比较悲观的。出于两点考虑：1）推理耗时问题，大模型的推理耗时难以满足推荐系统快速响应的体验要求；2）基于 ID 和用户...
一文梳理工业界大模型推荐落地经验
2401_85375151的博客
12-04 1304
从传统sequential recommender问题出发，探讨GRs如何改造传统建模范式。传统的序列推荐，通常只使用用户交互过的正样本item来构造序列。这里面包含两层含义，仅使用itemID来表征item、仅使用正反馈来构造序列。前者会忽略item的各类category语义信息、后者无法捕捉一些真实后验行为(如ctr)。GR通过两方面来分别解决这两个问题。a. 通过引入辅助信息并合并到主序列实现对稀疏类别特征的建模。
【亲测免费】 推荐项目：Generative Recommenders——打造下一代推荐系统
gitblog_00059的博客
06-14 1318
推荐项目：Generative Recommenders——打造下一代推荐系统 在数据驱动的时代，个性化推荐已成为连接用户与信息的桥梁。今天，我们要向您隆重推荐一个前沿项目——Generative Recommenders。该项目基于即将在ICML'24上发表的论文《Actions Speak Louder than Words: Trillion-Parameter Sequential Tra...
生成式推荐系统与京东联盟广告-综述与应用
京东科技开发者
06-13 1118
当前生成式推荐系统的代表性工作（RecSysLLM[22]，P5[20][24]，How2index[18]，PAP-REC[17]，VIP5[19]，UniMAP[27]，TIGER[7]，LC-Rec[4]，TransRec[16]，M6-Rec[21]，BIGRec[23]，LMRecSys[10]，NIR[12]，RecRanker[13]，InstructRec[11]，Rec-GPT4V[14]，DEALRec[15]）可总结为：表2. 生成式推荐系统的代表性工作[26]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值