计算广告学习笔记2.4 合约广告系统-Hadoop
2013-01-07 11:22
183 查看
来自于“师徒网” 刘鹏的讲课
规模:用户上亿,网页百万千万的量级
统计机器学习中大多数用的都是以上两种分布。来自于最大熵模型,最大熵模型在满足一定假设上,分布为指数族分布。
指数族分布工业上的好处在于充分统计量大小和参数的空间复杂度成正比,和数据无关,也就是说,在数据上加工出充分统计量后,数据可以放弃,和数据没有联系,运算可以限制到内存中。又提到了(PRML)这本书,看了一点,还是要坚持呀!
反馈是使用EM算法中需要的
如果不是指数或混合的,那么梯度族的方法解决,mapper(收集梯度),reduce(加起来迭代处理)
但是也有问题,比如需要迭代的话,会反复访问数据,速度就会比较慢。所以有些反而使用MPI效果好,但是对于特别大量的数据,为了保护数据的有效性,要减少节点通信
据说这个不好用,据说阿兹卡班用起来效果不错。
规模:用户上亿,网页百万千万的量级
统计机器学习中大多数用的都是以上两种分布。来自于最大熵模型,最大熵模型在满足一定假设上,分布为指数族分布。
指数族分布工业上的好处在于充分统计量大小和参数的空间复杂度成正比,和数据无关,也就是说,在数据上加工出充分统计量后,数据可以放弃,和数据没有联系,运算可以限制到内存中。又提到了(PRML)这本书,看了一点,还是要坚持呀!
反馈是使用EM算法中需要的
如果不是指数或混合的,那么梯度族的方法解决,mapper(收集梯度),reduce(加起来迭代处理)
但是也有问题,比如需要迭代的话,会反复访问数据,速度就会比较慢。所以有些反而使用MPI效果好,但是对于特别大量的数据,为了保护数据的有效性,要减少节点通信
据说这个不好用,据说阿兹卡班用起来效果不错。
相关文章推荐
- 计算广告学习笔记2.4 合约广告系统-Hadoop
- 计算广告学习笔记2.3 合约广告系统-在线分配(Online Allocation)
- 计算广告学习笔记2.1 合约广告系统-常见广告系统开源工具
- 计算广告学习笔记2.2 合约广告系统-合约广告简介
- 计算广告学习笔记2.2 合约广告系统-合约广告简介
- 计算广告学习笔记2.3 合约广告系统-在线分配(Online Allocation)
- 计算广告学习笔记 4.2竞价广告系统-广告网络概念
- 计算广告学习笔记1.9 广告的基础知识-在线广告系统结构
- 计算广告学习笔记 4.7竞价广告系统-逻辑回归优化方法介绍
- 计算广告学习笔记 4.3竞价广告系统-广告检索
- 计算广告学习笔记 4.4竞价广告系统-流量预测
- 刘鹏计算广告学听课笔记 第二章:合约广告系统(二)
- 计算广告学习笔记 4.8竞价广告系统-动态特征
- 【计算广告学习笔记】——广告系统
- 计算广告学习笔记 4.5竞价广告系统-zookeeper介绍
- 计算广告学习笔记 4.3竞价广告系统-广告检索
- 云计算学习笔记004---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载
- 计算广告学习笔记 4.1竞价广告系统-位置拍卖理论
- 计算广告学习笔记 4.1竞价广告系统-位置拍卖理论
- 计算广告学习笔记 4.4竞价广告系统-流量预测