MapReduce 与函数式编程
2017-11-20 16:43
113 查看
MapReduce 与函数式编程
MapReduce 的抽象受到LIsp和其他函数式语言你中的map和reduce原语的启发。map和reduce(fold)函数都是属于在函数式编程语言中的高阶函数。map函数的功能是接受一个列表list以及一个函数,将这个函数作用于这个列表中的所有成员,并返回所得结果。例如,下述函数将括号中的三个数每个加一:map(+1)[1,2,3]
这个表达式的输出结果是
[ 4000 2,3,4]。
而fold函数的功能则是接收一个列表、一个初始值以及一个函数,将该函数作为特定的组合方式,将其递归地应用于列表的所有成员,并返回最终结果,比如,下述函数计算
0+1+2+3的和:
fold(+)0[1,2,3]
其具体的操作流程是
(((0+1)+2)+3),并最终返回其总和。同样,也可以用fold求一个列表的所有元素之积:
fold(*)1[1,2,3]
还继续用上面统计单词次数的例子,MapReduce计算模型里的map函数实际上相当于下述函数式编程语言的语句:
map(f)[<k1,v1>,<k2,v2>,<k3,v3>,...]
其中f为用户实现的mapper函数里的操作,所以我们可以看出,它本质上就是函数式编程中的map函数合成的操作。
让我们用Haskell的例子说明reduce函数,其功能就是分别求若干个数组中数字的积:
Prelude> let a=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]] Prelude> map(foldr(*)1)a [6,120,504,1320]
作为类比,可以把MapReduce计算模型里的reduce抽象成下述形式,根据键将键值对分组,然后分别计算:
let Internediate=[[<k1,v1>,<k1,v2>,<k1,v3>...],[<k2,v1>,<k2,v2>,<k2,v3>...]...] map(reduce(f)[])Intermediate
只不过这里,map步骤是由partitioner来实现分发不同键组的动作,而实际上对于每一个reducer来说,它的工作方式正像是函数式编程里的reducer一样,对每一个键值组采用用户写的f作为特定的组合方式。
综上所述,函数式语言与Hadoop这类系统中的map和reduce函数并没有本质区别。作为计算模型而言,MapReduce实际上就是函数式编程语言中的map和reduce函数的并行化拓展。另外,我们可以从MapReduce计算模型身上处处体会到函数式编程的哲学原理,即把数据抽象作为一个流来进行操作,而显然这种抽象也正是并行化的基础。
从抽象的观点看,一个流也就是一个序列。流处理使我们可以模拟一些包含状态的系统,但却不需要利用复制或者变动数据。这一情况会产生一些重要的结果,既有理论的也有实际的。因为我们可以构造出一些模型,它们能避免由于引进赋值而带来的内在缺陷。但是,流框架也造成了它自己的困难。
相关文章推荐
- Hadoop系列之三:函数式编程语言和MapReduce
- Hadoop系列之三:函数式编程语言和MapReduce
- Hadoop系列之三:函数式编程语言和MapReduce
- Python 函数式编程 filter(),map() , reduce()......
- Guava 教程(3):Java 的函数式编程,通过 Google Collections 过滤和调用
- MapReduce编程模型及其在Hadoop上的实现
- 游戏编程的未来 —— FRP(函数式反应型编程)
- 函数式反应型编程(FRP) —— 实时互动应用开发的新思路
- 函数式编程
- JDK 7中的函数式编程思想[转载]
- js中的函数式编程
- Spark-MapReduce编程-自连接(Scala)
- Python函数式编程:从入门到走火入魔
- JavaScript权威指南_69_第8章_函数_8.8-函数式编程
- JavaScript之函数式编程不完全函数
- 理解iOS与函数式编程
- 上周技术关注:函数式编程另类指南
- [学习笔记]JavaScript之函数式编程
- 可爱的 Python : Python中函数式编程,第一部分
- MapReduce编程模型及优化技巧