[TOC] RDD Basic Transformation rdd的操作分为transform和action transform不会触发任务执行，action会 Transformation Meaning map(func) Return a new distributed dat ...

https://zhuanlan.zhihu.com/p/28768447 训练配置： 6307410个样本做训练集 num_trees = 2 // 树的棵树 categorical_feature=1,2,3,5,6,8,299 //类别特征编号 num_leaves = 6 // 每棵树的叶子 ...

[TOC] 目的 实在受不鸟这些复杂的又充满bug的参数服务器，我就想要一个用jvm语言写的参数分布式缓存而已 调研Glint 简单，能看明白 PS就两个操作 1234(1) Asynchronously ‘Pull’ data from the servers. this will query ...

https://www.jianshu.com/p/5a0669d6305e

[TOC] 第1章 问题建模 机器学习应用流程： <pre class="mermaid">graph TD; 问题建模-->特征工程 特征工程-->模型选择 模型选择-->模型融合</pre> 线下指标(AUC)要和线上指标(Page ...

[TOC] CTR概述 转自【https://zhuanlan.zhihu.com/p/31499375】 click through rate 是用来估计一个用户（缩写为u）是否会点击一个广告或其它item（缩写为a）的技术 问题的核心在于建模，即：寻找一个函数 可以学习出数据中 的映射，即 ...

MLR 业界常用的CTR预估算法的不足如下表所示： 方法 简介 不足 逻辑回归 使用了Sigmoid函数将函数值映射到0~1区间作为CTR的预估值。LR这种线性模型很容易并行化，处理上亿条训练样本不是问题。 线性模型的学习能力有限，需要引入大量的领域知识来人工设计特征以及特征之间的交叉 ...

[TOC] 互联网数据和经典模型 文章地址： https://mp.weixin.qq.com/s/UzukJHlYvRKtYBeuLoApqg CTR经典三种做法 简单线性模型LR 稀疏正则L1-Norm特征筛选 处理非线性：人工特征工程 经典方法1:ID特征 ID特征，这里指的是稀疏鉴别式特 ...

[TOC] ctr 模型 有用的资料 https://zhuanlan.zhihu.com/p/39439947 【阿里的DIN】 历史 CTR预估是一个比较窄的研究领域，但是模型性能一点点的提升，在实际应用中都非常关键，真金白银毫不含糊。随着深度学习在CV、NLP等领域取得突破性进展，一些研究也开 ...

[TOC] 决策树概述 用于分类时，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布 决策树场景 决策树是通过不停缩小猜测的范围，最后得到答案 如下图： 决策树的定义 决策树由节点node和有向边(directed edge)组成 node有两类，内部节点和 ...