SysRec2016 | Deep Neural Networks for YouTube Recommendations

内容速递

（1）候选集生成模型：用了Embedding MLP，注意最后的多分类的输出层，预测的是用户点击了“哪个”视频。线上服务时，需要从输出层提取出【视频 Embedding】，从最后一层 ReLU 层得到【用户 Embedding】，然后利用最近邻搜索（如LSH等）快速得到某用户的候选集。这样能够提高模型服务的效率了，不用把模型推断的逻辑搬上服务器，只需要将用户 Embedding 和视频 Embedding 存到redis特征数据库就行了。

（2）排序模型：也是Embedding MLP 架构，但是有更多的用户和视频的特征输入层，输出层采用了 Weighted LR（逻辑回归） 作为输出层（预测是典型CTR），并且使用观看时长作为正样本权重，让模型能够预测出观看时长，这更接近 YouTube 要达成的商业目标。

（3）高效训练模型：作者借鉴了机器翻译中的Sampled Softmax方法， 即利用重要性采样出部分视频 $V^{\prime }$，更多细节可参考该论文：通过重要性采样几千个负样本；经过importance weighting的方式进行修正。其他解决方法：

• 利用其它的方法，去逼近softmax的概率，比如：基于noise-contrastive estimation （NCE）的方法，类似于word2vec中skip-gram的negative sampling
• 层次softmax