Hadoop-MapReduce之WordCount的实现

代码片段： longsl / Mapreduce的wordcount计数器实现

这里对wordcount程序做一些补充笔记

wordcount计数逻辑简单概述：

从文件夹中读取文本文件，即源数据

计数分为map阶段和reduce两阶段实现，map阶段将单词做分割，并将每个单词打上标记—>

<key:word,value:1>

的形式.

在reduce阶段，将key值相同的word做一个合并，

key:hello,  values:{1,1,1,1,1,1.....}

并统计values中1的总数，经过循环遍历所所有的key，得到各个字母的计数。

最后输出到文件中

bug笔记：

当目标hdfs地址不是配置文件中设置的地址时，

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000/</value>
</property>

会报以下异常：

Exception in thread "main" java.net.ConnectException: Call From elon/192.168.16.1 to hadoop:9001 failed on connection exception: java.net.ConnectException: Connection refused: no further information;