WSDM2024推荐系统和LLM相关论文整理（一）

WSDM 2024接收的论文已经公布，全部收录论文可前往以下地址。
网址：https://www.wsdm-conference.org/2024/accepted-papers/
其中推荐系统相关论文三十余篇，下文列举了部分论文的标题以及摘要，欢迎关注公众号【深度学习推荐算法】

1、Defense Against Model Extraction Attacks on Recommender Systems（南阳理工）【推荐系统攻防】

推荐系统的鲁棒性已成为研究界的一个重要课题。人们提出了许多对抗性攻击，但其中大多数都依赖于大量的先验知识，例如所有的白盒攻击或大多数黑盒攻击都假定某些外部知识是可用的。在这些攻击中，模型提取攻击是一种很有前途的实用方法，它通过反复查询目标模型来训练一个代理模型。然而，在防御推荐系统的模型提取攻击方面，现有文献还存在很大差距。在本文中，我们介绍了基于梯度的排名优化GRO，这是第一种旨在对抗此类攻击的防御策略。我们将这种防御形式化为一个优化问题，旨在使受保护目标模型的损失最小化，同时使攻击者代理模型的损失最大化。由于top-k排序列表是不可微的，因此我们将其转换为可微的交换矩阵。这些交换矩阵是学生模型的输入，学生模型会模仿代理模型的行为。通过反向传播学生模型的损失，我们得到了交换矩阵的梯度。这些梯度用于计算交换损失，使学生模型的损失最大化。我们在三个基准数据集上进行了实验，以评估GRO 的性能。

图 1：GRO 的工作流程，目标模型为输入查询生成一个排名列表，排名列表被转换成交换矩阵 A，然后将 A 与学生模型的输出相乘，计算出其损失。我们将损失并获得 A 的梯度，然后将其转换为新的交换矩阵 A′。利用 A 和 A′ 来学习一个能骗过学生模型的目标模型。

2、Motif-based Prompt Learning for Universal Cross-domain Recommendation（首都师范）【基于Motif的通用跨域推荐提示学习】

跨域推荐（CDR）是通过将一般知识从源域转移到目标域来解决数据稀缺和冷启动问题的关键技术。然而，由于其固有的复杂性，现有的 CDR模型在适应各种场景方面存在局限性。为了应对这一挑战，最近的研究成果引入了通用 CDR 模型，利用共享嵌入来捕捉跨领域的一般知识，并通过“多任务学习 ”或 “预训练、微调”范式进行传输。然而，这些模型往往忽略了跨领域的更广泛的结构拓扑，也未能统一训练目标，从而可能导致负迁移。为了解决这些问题，我们提出了一种基于图案的提示学习框架–MOP，它引入了基于图案的共享嵌入来封装通用领域知识，同时满足域内和域间CDR任务的需要。具体来说，我们设计了三种典型的图案：蝴蝶、三角形和随机行走，并通过基于图案的编码器对它们进行编码，从而获得基于图案的共享嵌入。此外，我们在“预训练&提示调整”范式下训练MOP。通过将预训练和推荐任务统一为一个共同的基于主题的相似性学习任务，并集成可调整的提示参数来指导模型的下游推荐任务，MOP在有效传递领域知识方面表现出色。在四个不同的CDR 任务上的实验结果表明，MOP 比最先进的模型更有效。

图 2：MOP 的整个框架。图 2(b) 显示了一个域内 CDR 实例，即在域内向𝑢1 推荐𝑖4。对于域间 CDR，即向𝑢1 推荐𝑖3，我们只对𝑢1 使用 M 共享嵌入式，但对𝑖3 同时使用 M 共享嵌入式和 M 特定嵌入式来执行推荐任务。

3、To Copy, or not to Copy; That is a Critical Issue of the Output Softmax Layer in Neural Sequential Recommenders（亚马逊）【复制或不复制；这是神经序列推荐器中输出Softmax层的一个关键问题】

最近的研究表明，现有的神经模型很难处理连续推荐任务中的重复项目。然而，我们对这一困难的理解仍然有限。在本研究中，我们发现了问题的主要根源：输出软最大层中的单一隐藏状态嵌入和静态项目嵌入，从而大大推进了这一领域的研究。具体来说，softmax 层中全局项嵌入的相似性结构有时会迫使单隐态嵌入接近新项，而复制是更好的选择；有时又会迫使隐态接近输入中的项，这是不恰当的。为了缓解这一问题，我们将最近提出的软最大（softmax）替代方案（如 softmax-CPR）应用于顺序推荐任务，并证明新的软最大架构可以释放神经编码器的能力，让它学会何时复制输入序列中的项目，何时将其排除在外。只需对 SASRec 和 GRU4Rec 的输出 softmax 层做一些简单的修改，softmax-CPR 就能在 12 个数据集中实现一致的改进。在模型大小几乎相同的情况下，我们的最佳方法不仅在 5 个有重复项的数据集中将 GRU4Rec 的平均 NDCG@10 提高了 10%（分别为 4%-17%），而且还在 7 个无重复项的数据集中提高了 24%（8%-39%）。

图 2：神经顺序推荐器中输出软最大层的优点和问题。(a) 输出软最大层隐式地将交互矩阵分解为全局项目嵌入和神经编码器的隐藏状态。在这个例子中，项目嵌入空间的相似性结构有助于提高推荐器的泛化能力。(b) 在一个有许多重复物品的数据集中，推荐器经常需要从购物历史中复制物品，但嵌入空间中的物品相似性结构无法让推荐器输出所需的分布。© 在只有少量或没有重复商品的数据集中，模型需要学会不推荐用户已经接触过的商品，而是推荐与之相似的商品。理想的分布将在项目嵌入空间中形成一个甜甜圈形状，而这是 softmax 层中的单一隐藏状态和静态项目嵌入所无法模拟的。

图 4：softmax-CPR 和多输入隐藏状态（Mi）的结构。