hadoop入门之wordcount学习

   一天下班，看到一个公开课，一不下心就看到了半夜，讲的Hadoop特别生动易懂。后来我又找了一些资料学习了一下，先记录一下，更加深入的东西仍需投入时间学习和理解。

   假设输入为两个文件

  


   第一步：input

   InputFormat类将输入文件划分成多个splits,同时将这些splits转化为<K,V>的形式,如下，可以发现，当使用默认的TextInputFormat进行处理的时候，K为偏移量，V为每行的文本。

   第二步：map

   


   第三步shuffle：

   


   第四步：reduce

   


   第五步：output