- 博客(6)
- 收藏
- 关注
原创 2021-03-28
DIN1、背景Deep Interest Network(DIN)是2018年阿里该模型的应用场景是阿里巴巴的电商广告推荐业务, 这样的场景下一般会有大量的用户历史行为信息,DIN模型的创新点或者解决的问题就是使用了注意力机制来对用户的兴趣动态模拟, 而这个模拟过程存在的前提就是用户之前有大量的历史行为了,这样我们在预测某个商品广告用户是否点击的时候,就可以参考他之前购买过或者查看过的商品,这样就能猜测出用户的大致兴趣来,这样我们的推荐才能做的更加到位,所以这个模型的使用场景是非常注重用户的历史行为特征
2021-03-28 01:13:46
427
原创 2021-03-24
NFM1、背景传统的FM模型仅局限于线性表达和二阶交互, 无法胜任生活中各种具有复杂结构和规律性的真实数据, 针对FM的这点不足,作者提出了一种将FM融合进DNN的策略,通过引进了一个特征交叉池化层的结构,使得FM与DNN进行了完美衔接,这样就组合了FM的建模低阶特征交互能力和DNN学习高阶特征交互和非线性的能力,形成了深度学习时代的神经FM模型(NFM)。那么NFM具体是怎么做的呢? 首先看一下NFM的公式:y^NFM(x)=w0+∑i=1nwixi+f(x)\hat{y}_{N F M}(\m
2021-03-24 11:09:57
153
原创 keras
compile函数 def compile(self, optimizer, loss=None, metrics=None, loss_weights=None, sample_weight_mode=None, weighted_metrics=None, target_tensors=None,
2021-03-23 14:08:45
162
原创 2021-03-21
DeepFM1、背景介绍对于CTR问题,最有效的提升任务表现的策略是特征组合但是面临一个问题就是随着阶数的提升,复杂度就成几何倍的升高,推荐系统在实时性的要求也不能满足了。所以亟需解决的更加深入的问题:如何更高效的学习特征组合。此时使用DNN,会出现参数爆炸的问题。为了解决DNN参数量过大的局限性,可以将OneHot特征转换为Dense Vector,并通过增加全连接层就可以实现高阶的特征组合。但是仍然缺少低阶的特征组合,于是增加FM来表示低阶的特征组合。2、模型架构DeepFM借鉴了Google
2021-03-21 10:22:29
126
原创 2021-03-18
Wide&Deep1.背景介绍谷歌于2016提出的Wide&Deep模型。为了加强模型的泛化能力,研究者引入了DNN结构,将高维稀疏特征编码为低维稠密的Embedding vector,这种基于Embedding的方式能够有效提高模型的泛化能力。但是,基于Embedding的方式可能因为数据长尾分布,导致长尾的一些特征值无法被充分学习,其对应的Embedding vector是不准确的,这便会造成模型泛化过度。主要是由单层的Wide和多层的Deep组合成的混合模型。“wide”使得模型有
2021-03-18 22:44:24
119
原创 deepcrossing
DEEP CROSSING目录DEEP CROSSING1.模型主要解决的问题2.模型主要结构3.残差网络介绍1.模型主要解决的问题(1)特征分为两类,数值特征和离散特征,离散特征如one-hot编码数据类型过于稀疏,不利于直接输入神经网络进行训练。(2)如何解决特征自动交叉组合的问题,让神经网络自动进行深度特征交叉。2.模型主要结构(1)Embedding层:这层的作用是将稀疏特征转化为稠密向量。解决了问题(1)。这里我们使用经典的全连接结构作为主体。推荐系统中还有很多,下面的博客有列举出推荐
2021-03-17 00:10:19
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人