论文笔记：CIKM 2019 Rethinking the Item Order in Session-based Recommendation with Graph Neural Networks

前言

在传统的会话推荐模型中一般采用注意力机制来建模用户的偏好嵌入，但是作者认为用户的偏好是更加复杂的关系，单纯靠交互的物品间的联系不足以充分表达。因此，本文主要通过建模会话图来研究物品之间的联系模式，提出了一种模型框架来协同处理会话图中的序列顺序和潜在顺序，具体来说，本文提出了一个加权注意力图结构和一个读出函数来学习物品和会话的嵌入。

论文链接：https://arxiv.org/pdf/1911.11942v1.pdf
github：https://github.com/RuihongQiu/FGNN

1. FGNN

1.1 Preliminaries

令 $G(V,E)$ 表示为图，其中 $v\in V$ 表示为节点集，${\mathbf{X}}_v$ 表示为节点特征矩阵，$e\in E$ 表示边的集合。有两种经常被研究的任务分别是节点分类任务和图分类任务，在本文的工作中完成的是图分类任务，因此 FGNN 最终得到的是会话的嵌入表示。对于图分类任务，给定图的集合 { G 1 , G 2 , … , G N } ⊆ G \{G_1,G_2,\dots,G_N\}\subseteq\mathcal{G} {G1​,G2​,…,GN​}⊆G 和对应的标签 { y 1 , … , y N } ∈ Y \{y_1,\dots,y_N\} \in\mathcal{Y} {y1​,…,yN​}∈Y。对于 FGNN 来说期望学习到会话图的嵌入表示 ${\mathbf{h}}_G$ 并预测正确的标签，也就是 $y_G=g({\mathbf{h}}_G)$。在这点上，FGNN 确实与主流的会话预测模型的出发点不同，将整个问题转换成了图分类任务。其实主要的过程就是信息传播过程和将节点表示转换成整张会话图的嵌入表示的读出函数。表示成如下形式：
a v ( k ) = A g g ( { h u ( k − 1 ) , u ∈ N ( v ) } ) , h v ( k ) = M a p ( h v ( k − 1 ) , a v ( k ) ) (1) \mathbf{a}_v^{(k)}=Agg(\{\mathbf{h}_u^{(k-1)},u\in N(v)\}),\mathbf{h}_v^{(k)}=Map(\mathbf{h}_v^{(k-1)},\mathbf{a}_v^{(k)})\tag{1} av(k)​=Agg({hu(k−1)​,u∈N(v)}),hv(k)​=Map(hv(k−1)​,av(k)​)(1)

h G = R e a d o u t ( { h v ( k ) , v ∈ V } ) (2) \mathbf{h}_G=Readout(\{\mathbf{h}_v^{(k)},v \in V\})\tag{2} hG​=Readout({hv(k)​,v∈V})(2)

1.2 Method

1.2.1 Session Graph

建模方式可以参考图1。其中值得注意的是，作者在建模的时候选择将会话建模成有向，有权的图表示。其中方向代表交互物品的先后顺序，权重则代表这条边在会话中出现的频率。
在这里作者简单举出了一个两层的 GNN 传播方式，其中传播方式比较经典的是 GCN 和 GAT，作者在这两者的基础上选择了加权的图注意力机制来完成信息传播任务称为 WGAT。作者提出这种机制的出发点是传统的 GCN 和 GAT 是用于处理无向无权的简单图的，而在 FGNN 中作者选择将会话建模成有向有权的图，因此需要优化后的传播模型来完成任务。

1.2.2 Weighted Graph Attentional Layer

WGAT 的输入是节点特征矩阵 x = { x 0 , x 1 , x 2 , … , x n − 1 } ， x i ∈ R d \mathbf{x}=\{\mathbf{x_0},\mathbf{x_1},\mathbf{x_2},\dots,\mathbf{x_{n-1}}\}，\mathbf{x_i}\in\mathbb{R}^d x={x0​,x1​,x2​,…,xn−1​}，xi​∈Rd，其中 $n$ 和 $d$ 分别代表会话图中节点的个数和初始特征嵌入的维度。经过 WGAT 可以得到更新后的节点表示 x ′ = { x 0 ′ , x 1 ′ , x 2 ′ , … , x n − 1 ′ } ， x i ′ ∈ R d ′ \mathbf{x}^{'}=\{\mathbf{x_0}^{'},\mathbf{x_1}^{'},\mathbf{x_2}^{'},\dots,\mathbf{x_{n-1}^{'}}\}，\mathbf{x_i}^{'}\in\mathbb{R}^{d^{'}} x′={x0​′,x1​′,x2​′,…,xn−1′​}，xi​′∈Rd′。对于会话推荐任务来说，首层的的输入就是根据 id 序号得到的 one-hot 向量：
$${\mathbf{x}}_i^0=Embed(v_i)\text{\hspace{1em}(3)}$$
在第一阶段，根据 ${\mathbf{x}}_i,{\mathbf{x}}_j,w_{ij}$计算注意力系数 $e_{ij}$，它决定了节点 $j$ 对节点 $i$ 的重要性：
$$e_{ij}=Att(\mathbf{W}{\mathbf{x}}_i,{\mathbf{W}\mathbf{x}}_j,w_{ij})\text{\hspace{1em}(4)}$$
其中的 $Att(\cdot )$ 的维度变换为 ${\mathbb{R}}^d\times {\mathbb{R}}^d\times {\mathbb{R}}^1\to {\mathbb{R}}^1$。$\mathbf{W}$ 是一个在所有节点上执行线性映射的共享参数矩阵，$w_{ij}$ 表示节点之间边的权重。实际上，一个节点 $i$ 的注意可以扩展到每个节点，这是一种特殊情况，就像 STAMP 如何使序列的最后一个节点的注意一样。这里限制关注的范围是一阶邻域内的节点。对于 STAMP 的序列结构注意力处理方法，这里选择建模成图同时存在对于范围的限制是一节邻域内的所有节点。利用会话的固有结构图直接比较不同节点的重要性,softmax 对注意力系数进行归一化处理：
$${\alpha }_{ij}=softmax(e_{ij})=\frac{exp(e_{ij})}{{\sum }_{k\in \mathcal{N}(i)}exp(e_{ik})}\text{\hspace{1em}(5)}$$
对于 $Att(\cdot )$ 的选择有很多种，在本文中作者选用 MLP，其中 ${\mathbf{W}}_{att}\in {\mathbb{R}}^{2d+1}$。最终注意力归一化系数的计算过程表示如下：
$${\alpha }_{ij}=\frac{exp(LeakyRelu({\mathbf{W}}_{att}[{\mathbf{W}\mathbf{x}}_i||{\mathbf{W}\mathbf{x}}_j||w_{ij}]))}{{\sum }_{k\in {\mathcal{N}}_{(i)}}exp(LeaktRelu({\mathbf{W}}_{att}[{\mathbf{W}\mathbf{x}}_i||{\mathbf{W}\mathbf{x}}_j||w_{ij}]))}\text{\hspace{1em}(6)}$$
其中 $\cdot ||\cdot$ 代表两向量的级联。基于此最后的节点表示就是归一化的注意力系数 ${\alpha }_{ij}$ 与特征嵌入 ${\mathbf{x}}_j$ 以及转换矩阵 $\mathbf{W}$ 的乘积：
$${\mathbf{x}}_i^{{}^{\prime }}=\sigma (\sum _{j\in {\mathcal{N}}_{(i)}}{\alpha }_{ij}\mathbf{W}{\mathbf{x}}_j)\text{\hspace{1em}(7)}$$
其中 $\sigma (\cdot )$ 代表非线性激活函数，在本文中使用的是 Relu。

并且应用了 GAT 中的多头注意力机制，表示形式为：
$${\mathbf{x}}_i^{{}^{\prime }}=|{|}_{k=1}^K\sigma (\sum _{i\in {\mathcal{N}}_{(i)}}{\alpha }_{ij}^k{\mathbf{W}}^k{\mathbf{x}}_j)\text{\hspace{1em}(8)}$$
其中 $K$ 代表 head 的数量，每一个 head 对应不同的参数，最终 $\cdot ||\cdot$ 代表级联函数，因此经过式（8）得到的节点特征维度为 ${\mathbf{x}}_i^{{}^{\prime }}\in {\mathbb{R}}^{K{d}^{{}^{\prime }}}$。最终经过取平均的操作得到最后的嵌入表示：
$${\mathbf{x}}_i^{{}^{\prime }}=\sigma (\frac{1}{K}\sum _{k=1}^K\sum _{j\in {\mathcal{N}}_{(i)}}{\alpha }_{ij}^k{\mathbf{W}}^k{\mathbf{x}}_j)\text{\hspace{1em}(9)}$$

当多个 WGAT 层的正向传播完成后，得到所有节点的最终特征向量，即物品特征嵌入。这些嵌入将作为会话嵌入计算阶段的输入。

1.2.3 Readout Function

读出函数的目的是在对 GNN 层进行前向计算后，基于节点特征给出整个图的表示。如上所述，Readout函数需要学习物品转换模式，以避免时间顺序的偏差和对最后一个输入项目的自我注意的不准确性。为了方便起见，一些算法使用简单的排列不变操作，例如，对所有节点特征的平均值、最大值或总和。虽然上述方法简单且完全不违反排列不变性的约束，但是上述操作不能提供所需的会话表示的表达能力。相反，Set2Set是一个图级特征提取器。作者修改这个方法以适应会话图的设置。计算过程如下：
$${\mathbf{q}}_t=GRU({\mathbf{q}}_{t-1}^{\ast })\text{\hspace{1em}(10)}$$
$$e_{i,t}=f({\mathbf{x}}_i,{\mathbf{q}}_t)\text{\hspace{1em}(11)}$$
$$a_{i,t}=\frac{exp(e_{i,t})}{{\sum }_{j}exp(e_{j,t})}\text{\hspace{1em}(12)}$$
$${\mathbf{r}}_t=\sum _i{a}_{i,t}{\mathbf{x}}_i\text{\hspace{1em}(13)}$$
$${\mathbf{q}}_t^{\ast }=\mathbf{q}||{\mathbf{r}}_t\text{\hspace{1em}(14)}$$

其中 $i$ 是图中节点的索引，${\mathbf{q}}_t\in {\mathbb{R}}^d$ 代表目前所有节点级联表示的查询向量，可以用来计算当前计算节点 ${\mathbf{x}}_i$ 对于之前所有节点表示级联后结果的注意力系数 $e_{i,t}$ 也就是函数 $f(\cdot )$ 的功能，之后计算注意力系数的归一化表示 $a_{i,t}$，得到当前节点的信息传播结果 ${\mathbf{r}}_t\in {\mathbb{R}}^d$，将之前所有结点的查询向量和当前节点的信息传播进行拼接得到当前所有结点的级联表示 ${\mathbf{q}}_t^{\ast }\in {\mathbb{R}}^{2d}$。

基于会话图的所有节点嵌入，上述过程得到了一个图级嵌入，其中包含一个查询向量 ${\mathbf{q}}_t$ 以及语义嵌入向量 ${\mathbf{r}}_t$。查询向量 ${\mathbf{q}}_t$ 控制从节点嵌入中读取什么，如果递归地应用 Readout 函数，它实际上可以处理会话图中的所有的节点。因此最后得到的会话图嵌入表示为 ${\mathbf{q}}_t^{\ast }\in {\mathbb{R}}^{2d}$。

1.2.4 Recommendation

在得到当前会话图的嵌入表示之后，基于此得到所有候选物品的得分向量 $\hat{\mathbf{z}}$：
$$\hat{\mathbf{z}}=({\mathbf{W}}_{out}{\mathbf{q}}_t^{\ast }{)}^T{\mathbf{X}}^0\text{\hspace{1em}(15)}$$
其中 ${\mathbf{W}}_{out}\in {\mathbb{R}}^{d\times 2d}$ 作为转换矩阵的可学习参数，${\mathbf{X}}^0$ 代表所有候选物品的根据 id 得到的初始 one-hot 嵌入。基于此可以得到归一化的概率预测向量$\hat{\mathbf{y}}$：
$$\hat{\mathbf{y}}=softmax(\hat{\mathbf{z}})\text{\hspace{1em}(16)}$$
基于此，选择 top-K 个物品完成推荐任务。

1.2.5 Objective Function

对于一个图分类问题，作者将 $\hat{\mathbf{y}}$ 和 $v_{label,i}$ 的 one-hot 编码之间的多类交叉熵损失作为目标函数。对于一个 batch：
$$L=\sum _{i=1}^{l}one-hot(v_{label,i})log(\hat{\mathbf{y}})\text{\hspace{1em}(17)}$$
最后使用时间反向传播(BPTT)算法对整个 FGNN 模型进行训练。

作者将该模型描述成图级别的分类任务，我没看出来原因是什么，和其他的会话推荐模型的计算过程一致。因此我觉得没什么必要，如果我的理解有误，欢迎大家指出。

2. Experiments