推荐系统遇上深度学习

MLR

业界常用的CTR预估算法的不足如下表所示:

方法 简介 不足
逻辑回归 使用了Sigmoid函数将函数值映射到0~1区间作为CTR的预估值。LR这种线性模型很容易并行化,处理上亿条训练样本不是问题。 线性模型的学习能力有限,需要引入大量的领域知识来人工设计特征以及特征之间的交叉组合来间接补充算法的非线性学习能力,非常消耗人力和机器资源,迁移性不够友好。
Kernel方法 将低维特征映射到高维特征空间 复杂度太高而不易实现
树模型 如Facebook的GBDT+LR算法,有效地解决了LR模型的特征组合问题 是对历史行为的记忆,缺乏推广性,树模型只能学习到历史数据中的特定规则,对于新规则缺乏推广性
FM模型 自动学习高阶属性的权值,不用通过人工的方式选取特征来做交叉 FM模型只能拟合特定的非线性模式,常用的就是二阶FM
深度神经网络 使用神经网络拟合数据之间的高阶非线性关系,非线性拟合能力足够强 适合数据规律的、具备推广性的网络结构业界依然在探索中,尤其是要做到端到端规模化上线,这里面的技术挑战依然很大

那么挑战来了,如何设计算法从大规模数据中挖掘出具有推广性的非线性模式?