您的位置:首页 > 运维架构

Hadoop初探

2009-06-16 21:44 190 查看
Hadoop是Yahoo发起的一个开源分布式计算工具,大概起于2006年,最新版本为0.20版,但已经很流行了,这足以见得现在的IT届新技术发展是多么地迅猛,开源技术尤甚。不过整个计算机科学也才四十多年历史,整个理论体系离完善还很遥远,所以我辈也不用太自卑(怎么那些家伙这么厉害?),专注与自己的技术路线即可。这好像和Hadoop没啥关系,扯远了。。。

Hadoop主要包括一个分布式文件管理系统HDFS(GPS的一个轻量级实现),以及Map/Reduce(函数式编程)部分。目的主要用来海量数据的处理。

关注Hadoop也有几个月时间了,但一直没太大的进展,还处于一些文档的阅读和单机的实验。最近准备花点时间读读它的源代码,特别是那个分布式文件管理系统。以前研究过一段时间网格计算,但主要用Globus,所以分布式系统的实现还不甚了解,这次要好好整整。。。

Hadoop关联的项目,如Chukwa,HBase,Hive等应该也有点意思。。。

链接:
http://hadoop.apache.org/core/(项目负责人:Doug Cutting)
http://www.hadoop.org.cn/(搞过两次Hadoop沙龙,2009年没怎么更新,学生办的?) http://cn.hadoop.org/Hadoop中文研究院 (群号:12934057)
研究Hadoop,MapReduce,HBase的中文社区,欢迎投稿!!!

http://www.hadoop.tw/
阿里ASC也有个网站,不过好像09年也没怎么更新。。。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: