从零学习Hadoop--001Hadoop的起源与体系介绍

Google面对的数据和计算难题
1>大量的网页怎么存储呢？
传统是买一个很大很大的存储设备。
是存到各个pc服务器的内存中，加快，采取了冗余的办法。
2>搜索算法
响应时间是0.00000几秒。
3>Page-Rank计算问题。
对网页价值进行排名。

谷歌搜索为什么会快？

使用了倒排索引（哈希索引）

1首先对这个文章进行分词。

快速定位到关键字。

2难点a是分词
Page-Rank这是google最核心的算法，用于给每个网页价值评分，是Google在垃圾中黄金的关键算法，这个算法成就了今天的Google。
根据链接，来判断页面的价值，别人指向的越多，价值越大。
网站的价值的有大有小，所以链接的价值也会受到影响。



每个节点都放入不同的特征向量，进行计算



每个节点都计算完，汇报给一个节点，我们再所有的列都加起来得到了一个向量
q1->q2->q3->q4