[TOC] 目的 实在受不鸟这些复杂的又充满bug的参数服务器，我就想要一个用jvm语言写的参数分布式缓存而已 调研Glint 简单，能看明白 PS就两个操作 1234(1) Asynchronously ‘Pull’ data from the servers. this will query ...

https://www.jianshu.com/p/5a0669d6305e

[TOC] 第1章 问题建模 机器学习应用流程： <pre class="mermaid">graph TD; 问题建模-->特征工程 特征工程-->模型选择 模型选择-->模型融合</pre> 线下指标(AUC)要和线上指标(Page ...

[TOC] CTR概述 转自【https://zhuanlan.zhihu.com/p/31499375】 click through rate 是用来估计一个用户（缩写为u）是否会点击一个广告或其它item（缩写为a）的技术 问题的核心在于建模，即：寻找一个函数 可以学习出数据中 的映射，即 ...

MLR 业界常用的CTR预估算法的不足如下表所示： 方法 简介 不足 逻辑回归 使用了Sigmoid函数将函数值映射到0~1区间作为CTR的预估值。LR这种线性模型很容易并行化，处理上亿条训练样本不是问题。 线性模型的学习能力有限，需要引入大量的领域知识来人工设计特征以及特征之间的交叉 ...

[TOC] 互联网数据和经典模型 文章地址： https://mp.weixin.qq.com/s/UzukJHlYvRKtYBeuLoApqg CTR经典三种做法 简单线性模型LR 稀疏正则L1-Norm特征筛选 处理非线性：人工特征工程 经典方法1:ID特征 ID特征，这里指的是稀疏鉴别式特 ...

[TOC] ctr 模型 有用的资料 https://zhuanlan.zhihu.com/p/39439947 【阿里的DIN】 历史 CTR预估是一个比较窄的研究领域，但是模型性能一点点的提升，在实际应用中都非常关键，真金白银毫不含糊。随着深度学习在CV、NLP等领域取得突破性进展，一些研究也开 ...

[TOC] 决策树概述 用于分类时，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布 决策树场景 决策树是通过不停缩小猜测的范围，最后得到答案 如下图： 决策树的定义 决策树由节点node和有向边(directed edge)组成 node有两类，内部节点和 ...

ML常见模型 logistic regression knn naive bayes rf gbdt svm pca svd lda psi kmeans kmodes crf markov lasso

[TOC] Spark内核设计的艺术架构设计与实现 Spark vs MR spark是基于内存的 MR需要使用磁盘 宽依赖和窄依赖 https://www.jianshu.com/p/5c2301dfa360 窄依赖与窄依赖比较 宽依赖往往对应着shuffle操作，需要在运行的过程中将同一个RDD ...