hadoop入门级配置笔记（v1.2.1,win7 64位系统）

1、安装JDK，配置环境变量，这个没商量，不会的自己百度；

2、下载并安装cygwin，这样就可以在windows下使用命令行了，具体可以参考 http://jingyan.baidu.com/article/6b97984d83dfe51ca2b0bf0e.html，注意同时安装Net分类下面的openssh；

3、下载hadoop发行版本，解压到你想要的目录，修改conf/hadoop-env.sh将JAVA_HOME设置为Java安装根路径；

4、配置conf/hadoop-site.xml:

<span style="font-family:SimSun;font-size:14px;"><configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration></span>

5、配置ssh，打开cygwin，执行ssh-host-config，一路yes，执行到Enter the value of CYGWIN for the daemon: [] ，输入ntsec，继续yes，然后输入两次相同的密码；

6、启动sshd,在cygwin中执行cygrunsrv --start sshd（停止cygrunsrv
--stop sshd）；

7、生成密钥文件，在cygwin中执行ssh-keygen，输入保存的路径，建议放在{当前用户}/.ssh/id_rsa，cat
~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

8、测试ssh是否能够使用，在cygwin中执行ssh
localhost、yes、输入当前系统用户登录密码（如果有登录密码），出现类似Last login: Mon Apr 6 21:04:32 2015 from 127.0.0.1信息，则表明ssh可以正常使用；

9、替换jar包，由于在windows下面，官方包存在BUG，可以下载 http://dl2.iteye.com/upload/attachment/0089/3020/f0eb1170-bd77-31d6-bd76-49098c411cc3.jar，修改jar包名为hadoop-core-1.2.1，替换原有的jar包即可；

10、启动hadoop，在cygwin中进入${HADOOP_HOME}（hadoop解压后的目录，下面不再累述），执行bin/hadoop
namenode -format格式化一个新的分布式文件系统，执行bin/start-all.sh启动hadoop守护进程；

11、创建输入环境，在cygwin中分别执行mkdir
input、cp conf/*.xml input；

12、执行示例，在cygwin中执行 bin/hadoop
jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'；

13、将分布式文件系统上的文件copy到本地，在cygwin中执行 bin/hadoop
fs -get output output。

==================我是华丽丽的分割线======================

写在最后：

此文档是参考官方入门教程 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html 补充和改正的，本人也是初步接触hadoop，以上是我在搭建hadoop环境时，遇到大量问题后总结出来的，其中肯定存在不足，希望能给刚入门的带来指导作用，若有不足，请指正。如果在搭建的过程中出现什么问题，欢迎回复本帖或者发邮件
zhipingcai@qq.com，我们一同学习。