小强的Hadoop学习之路

本人一直在做NET开发，接触这行有6年了吧。毕业也快四年了（6年是因为大学就开始在一家小公司做门户网站，哈哈哈），之前一直秉承着学要精，就一直一门心思的在做NET（也是懒吧）。最近的工作一直都和大数据清洗相关，想着要学学真正的大数据懒，不然都不好意思说自己是做数据清洗的。

　　目前关于hadoop的学习资料已经非常多了，写出来只当作是自己学习经历的笔记，如果顺便还能帮助下后面的学习者，那当然是再好不过了。所以 目前起的是我（小强）的学习之路。

　　以下是我现在的学习步骤，所以学到哪写到哪，不是系统学习的路线，望见谅！

环境准备三步

1、 ssh 免密码登陆

ssh localhost

验证是否可以登陆，如无配置，此时应是需要输入密码的

cd ~/.ssh ＃查看是否存在

若不存在

ssh-keygen -t rsa

生成公钥和私钥。密码直接回车跳过，默认即可。

cd ~/.ssh 文件夹下 ls 命令会看到公钥和私钥。

然后

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

如无权限，则输入以下命令修改权限

chmod 600 ~/.ssh/authorized_keys

此时输入 ssh localhost，应该是直接进入了，大功告成！！！

2、JDK 1.8

下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

查看java安装路径

/usr/libexec/java_home -v

3、hadoop 3.0.0

下载地址：http://hadoop.apache.org/releases.html

适用于自己的电脑版本，我的电脑是mac 64位。

4、http://www.java2s.com/Code/JarDownload/hadoop-streaming/

这是hadoop-streaming的下载地址

用来运行其他脚本语言的mapreduce，使用流标准的转化处理