背景 这一篇我们从基础的深度ctr模型谈起。我很喜欢Wide amp Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘，Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息，要么是让Wide更好的记忆样本信息 以下代码针对Dense输入感觉更容易理解模型结构，其他针对spare输入的模型和完整代码 https: ...
2020-04-08 09:47 0 1359 推荐指数：
之前总结了PNN,NFM,AFM这类两两向量乘积的方式，这一节我们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈，DCN在ResNet上进一步创新，为高阶特征交互提供了新的方法并支持任意阶数的特征交叉。 以下代码针对Dense输入更容易理解模型结构 ...
这一节我们总结FM另外两个远亲NFM，AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息，总共向量乘积就这几种，这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制 ...
这一节我们总结FM三兄弟FNN/PNN/DeepFM，由远及近，从最初把FM得到的隐向量和权重作为神经网络输入的FNN，到把向量内/外积从预训练直接迁移到神经网络中的PNN，再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM，我们终于来到了2017年。。。 以下代码针对 ...
xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客 ...
在读了FM和FNN/PNN的论文后，来学习一下16年的一篇Google的论文，文章将传统的LR和DNN组合构成一个wide&deep模型（并行结构），既保留了LR的拟合能力，又具有DNN的泛化能力，并且不需要单独训练模型，可以方便模型的迭代，一起来看下吧。 原文：Wide & ...
推荐系统在电商等平台使用广泛，这里讨论wide&deep推荐模型，初始是由google推出的，主要用于app的推荐。 概念理解 Wide & Deep模型，旨在使得训练得到的模型能够同时获得记忆（memorization）和泛化（generalization）能力 ...
本文记录几个在广告和推荐里面rank阶段常用的模型。 广告领域机器学习问题的输入其实很大程度了影响了模型的选择，因为输入一般维度非常高，稀疏，同时包含连续性特征和离散型特征。模型即使到现在DeepFM类的方法，其实也都很简单。模型的发展主要体现于对特征的充分挖掘上，比如利用低阶和高阶特征、尝试自动 ...
推荐系统模型演化 目录 Wide&Deep DeepFM DCN xDeepFm LR-->GBDT+LR FM-->FFM-->GBDT+FM|FFM FTRL-->GBDT+FTRL ...
