想入行大数据，如何才能学好Hadoop？

点击查看全文

随着大数据在国内的火热，越来越多的开发人员准备入行。但作为外行人员，对大数据的了解并不清晰，不确定自己目前从事的行业、掌握的技能是否能够达到学习大数据的要求。
Hadoop作为大数据行业使用的主要框架，想进入大数据行业学习Hadoop开发是必须的。





让Hadoop跑起来大概流程
Hadoop框架自身是由Java语言编写，天生支持使用Java语言编写作业。在实际生产环境中也多使用其他语言如Python，此时需呀借助Hadoop自带的一些工具。
Hadoop运行在Linux环境中，想在本地安装Hadoop需要先安装Linux系统。为了节省学习成本我们使用虚拟机在本地电脑模拟多台硬件搭建集群。





应该选择哪种语言进行作业？
Java
Hadoop本身由Java编写，对Java语言支持很好，但使用Java代码写起来非常繁琐冗长。
Python
在大数据的实际生产中，使用Python进行作业开发也非常普遍。Python语法结构清晰、开发迅速、维护成本低是它的优势。
假如使用Python进行作业开发，可借助Hadoop Streaming或者Pydoop。

点击查看全文