win7下搭建hadoop之cygwin安装
2012-11-22 18:03
267 查看
主要流程分为4部分:
1.安装cygwin配置sshd服务
2.配置hadoop
3.配置eclipse访问hadoop
4.配置eclipse测试mapreduce
第1步是最容易出现各种问题的地方,我在配置服务的时候前后遇到解决过一二十个问题,建议1、2步如果出现什么问题最好完全卸载删除然后严格按照步骤重新来。
1.安装cygwin配置sshd服务
安装cygwin是为了给hadoop提供linux环境,sshd是为了提供hadoop的通信方式。
1.1安装cygwin
从官网上下载安装就好,安装选项的时候在net模块下需要选择安装openssh和openssl两个子模块,其他default就好
安装完成后需要配置系统变量,在Path里面加入cygwin的bin目录和usr/sbin目录
1.2取得cygwin的root权限
安装完成后运行一个bash窗口再关闭,在/home/目录下就会出现一个以你的用户名命名的文件夹(也就是cygwin为你创建了一个和windows一样的用户),例如我的就是/home/WANGCHAO,将这个文件夹改名为root
在/etc/passwd文件中找到你的用户名的哪一行,(WANGCHAO:unused:1000:513:U-WANGCHAO-PC\WANGCHAO,S-1-5-21-703394362-527095193-1703888876-1000:/home/WANGCHAO:/bin/bash)把这一行的用户名都改为root同时设置权限为最大(root:unused:0:0:U-WANGCHAO-PC\root,S-1-5-21-703394362-527095193-1703888876-1000:/home/root:/bin/bash)
保存完成以后再打开bash就会发现你的用户名变为了root并且通配符是#,这样就拿到了root权限并创建了root用户
(或者1.3)给文件授权,以完成sshd 服务的安装
chmod +r /etc/group
chmod +r /etc/passwd
chmod +rwx /var
Q: cygrunsrv -S sshd不能启动,报告
cygrunsrv: Error starting a service:QueryServiceStatus: Win32 error 1062:
The service has not been started.
A:
很可能是/var/log的权限设置不正确。首先执行 mkpasswd
和 mkgroup
重新生成权限信息,再删除sshd服务,重新配置:
$ mkpasswd -l > /etc/passwd
$ mkgroup -l > /etc/group
$ cygrunsrv -R sshd
$ ssh-host-config -y
$ cygrunsrv -S sshd
1.3安装sshd服务
在bash里面运行ssh-host-config,第一个问题"Should privilegeseparation be used?"选no,后面就是创建sshd的用户名密码,自己设一下就好,最后告诉你"Have fun!"就是安装成功了,这时候执行net start sshd是启动不起来的,因为上一步配置服务的时候强制需要设置密码,但我们不需要密码,所以接下来在/etc/passwd里面追加一行
sshd:x:74:74rivilege-separatedSSH:/var/empty/sshd:/sbin/nologin
重开一个bash运行net start sshd如果没有返回错误代码就可以在win7自己的查看服务里面看是不是有一个交CYGWIN_SSHD的服务以及启动了.
1.4建立sshd和localhost互信
运行ssh localhost,会让你输入密码,这是因为此时localhost还不在服务的信任列表中,需要
ssh-keygen -t dsa出现提示都回车就行。
cd ~/.ssh
cat id_dsa.pub >>authorized_keys
然后ssh localhost如果不需要密码就是设置成功了.
如果不成功,检查authorized_keys和.ssh目录的权限
chmod 644 authorized_keys
cd ~
chmod 700 .ssh
应该就可以了.
至此第一步就完成了,这一步可能会有非常多的错误,目前写得是最简单且成功的方法,请务必按照说明的步骤顺序严格执行.
1.安装cygwin配置sshd服务
2.配置hadoop
3.配置eclipse访问hadoop
4.配置eclipse测试mapreduce
第1步是最容易出现各种问题的地方,我在配置服务的时候前后遇到解决过一二十个问题,建议1、2步如果出现什么问题最好完全卸载删除然后严格按照步骤重新来。
1.安装cygwin配置sshd服务
安装cygwin是为了给hadoop提供linux环境,sshd是为了提供hadoop的通信方式。
1.1安装cygwin
从官网上下载安装就好,安装选项的时候在net模块下需要选择安装openssh和openssl两个子模块,其他default就好
安装完成后需要配置系统变量,在Path里面加入cygwin的bin目录和usr/sbin目录
1.2取得cygwin的root权限
安装完成后运行一个bash窗口再关闭,在/home/目录下就会出现一个以你的用户名命名的文件夹(也就是cygwin为你创建了一个和windows一样的用户),例如我的就是/home/WANGCHAO,将这个文件夹改名为root
在/etc/passwd文件中找到你的用户名的哪一行,(WANGCHAO:unused:1000:513:U-WANGCHAO-PC\WANGCHAO,S-1-5-21-703394362-527095193-1703888876-1000:/home/WANGCHAO:/bin/bash)把这一行的用户名都改为root同时设置权限为最大(root:unused:0:0:U-WANGCHAO-PC\root,S-1-5-21-703394362-527095193-1703888876-1000:/home/root:/bin/bash)
保存完成以后再打开bash就会发现你的用户名变为了root并且通配符是#,这样就拿到了root权限并创建了root用户
(或者1.3)给文件授权,以完成sshd 服务的安装
chmod +r /etc/group
chmod +r /etc/passwd
chmod +rwx /var
Q: cygrunsrv -S sshd不能启动,报告
cygrunsrv: Error starting a service:QueryServiceStatus: Win32 error 1062:
The service has not been started.
A:
很可能是/var/log的权限设置不正确。首先执行 mkpasswd
和 mkgroup
重新生成权限信息,再删除sshd服务,重新配置:
$ mkpasswd -l > /etc/passwd
$ mkgroup -l > /etc/group
$ cygrunsrv -R sshd
$ ssh-host-config -y
$ cygrunsrv -S sshd
1.3安装sshd服务
在bash里面运行ssh-host-config,第一个问题"Should privilegeseparation be used?"选no,后面就是创建sshd的用户名密码,自己设一下就好,最后告诉你"Have fun!"就是安装成功了,这时候执行net start sshd是启动不起来的,因为上一步配置服务的时候强制需要设置密码,但我们不需要密码,所以接下来在/etc/passwd里面追加一行
sshd:x:74:74rivilege-separatedSSH:/var/empty/sshd:/sbin/nologin
重开一个bash运行net start sshd如果没有返回错误代码就可以在win7自己的查看服务里面看是不是有一个交CYGWIN_SSHD的服务以及启动了.
1.4建立sshd和localhost互信
运行ssh localhost,会让你输入密码,这是因为此时localhost还不在服务的信任列表中,需要
ssh-keygen -t dsa出现提示都回车就行。
cd ~/.ssh
cat id_dsa.pub >>authorized_keys
然后ssh localhost如果不需要密码就是设置成功了.
如果不成功,检查authorized_keys和.ssh目录的权限
chmod 644 authorized_keys
cd ~
chmod 700 .ssh
应该就可以了.
至此第一步就完成了,这一步可能会有非常多的错误,目前写得是最简单且成功的方法,请务必按照说明的步骤顺序严格执行.
相关文章推荐
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (一) Cygwin(64位)的安装 + ssh的配置
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (二) Hadoop的安装
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (三) 在Eclipse中配置Hadoop
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (四) 导入Hadoop源码+wordcount程序+运行
- win7下Cygwin搭建Hadoop开发环境(由于win7环境不同导致本文章并不一定适合所有的win7用户)
- win7下Cygwin搭建Hadoop开发环境(由于win7环境不同导致本文章并不一定适合所有的win7用户)
- win7 安装Cygwin和Hadoop
- win7下Cygwin搭建Hadoop开发环境(由于win7环境不同导致本文章并不一定适合所有的win7用户)
- 教你如何在win7中的cygwin64下安装hadoop
- hadoop 在win7 下安装 +eclipse 和 cygwin
- 1.2Hadoop伪分布式搭建-------JDK和SSH的安装和配置
- 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
- Win7下快速搭建hadoopEclipse运行环境--方案
- Virtualbox搭建局域网设置,安装ambari hadoop集群管理第一步
- eclipse_win7_hadoop1.2.1开发环境搭建2
- win7上搭建hadoop1.2.1伪分布式
- Hadoop集群化搭建(四)Hadoop-2.6.0安装
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- hadoop-企业版环境搭建(四)-安装HBase
- Win7下搭建python开发环境图文教程(安装Python、pip、解释器)