大数据下 移动计算 和 移动数据的一点理解
2017-11-28 16:31
246 查看
移动计算就是把计算任务下发到数据所在的节点进行处理。
移动数据就是将数据移动到计算任务的节点,这样将损耗大量网络开销,导致流量激增,处理效率慢。
此外还要申明,在mapreduce程序中,其中map阶段是移动计算的,即本地计算,但是在reduce时,要进行shuffle进过网络传输。
更多详情:http://blog.csdn.net/king_a_123/article/details/53439801
http://blog.csdn.net/magicdreaming/article/details/7629002
移动数据就是将数据移动到计算任务的节点,这样将损耗大量网络开销,导致流量激增,处理效率慢。
此外还要申明,在mapreduce程序中,其中map阶段是移动计算的,即本地计算,但是在reduce时,要进行shuffle进过网络传输。
更多详情:http://blog.csdn.net/king_a_123/article/details/53439801
http://blog.csdn.net/magicdreaming/article/details/7629002
相关文章推荐
- MapReduce端的二次排序以及对移动计算而不是移动数据的理解
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- 对 javaEye上帖子 form表单提交数据编码方式和tomcat接受数据解码方式的思考 的一点理解
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- 自己写过的一个vba脚本,用于移动copy一点数据。
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解 (转)
- c/s模式在移动便携系统应用的一点理解
- Windows 8寄托着微软对移动计算、客厅控制和超级操作系统的全新理解与尝试
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- 对数据预处理的一点理解[ZZ]
- 移动数据和移动计算(本地计算)的区别
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- 对Dicom数据的一点理解
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第五门课程:云计算分布式大数据Hadoop最佳实践
- Windows 8寄托着微软对移动计算、客厅控制和超级操作系统的全新理解与尝试
- 2014年去哪儿网笔试题--一个10*10的矩阵(可以理解为棋盘),随时生成一组数据填入矩阵,任何一个位置的数字除4进行计算,按余数着色...
- OpenCV中对Mat里面depth,dims,channels,step,data,elemSize和数据地址计算的理解
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程:云计算分布式大数据Hadoop企业级开发动手实践