windows 10开启bash on windows，配置sshd，部署hadoop

1、安装Bash on Windows 

　　这个参考官网步骤，很容易安装，https://msdn.microsoft.com/en-us/commandline/wsl/install_guide

　　安装过程很简单，主要是从应用商店下载bash的时候，比较容易失败，可能需要多试几次。

2、配置SSHD

　　自带的命令行比较简陋，操作不方便。可以开启sshd，然后用xshell等终端登录。

　　

/etc/ssh/
vim sshd_config

#修改以下几项
Port 2222 #windows 10会默认占用22端口，所以这里需要换成22端口外的其他端口。
ListenAddress 0.0.0.0
UsePrivilegeSeparation no
PasswordAuthentication yes

#运行
sudo ssh-keygen -A

#测试可以使用ssh username@localhost -p 2222进行登录了

#编辑/etc/sudoers 添加下面一行(using sudo visudo for safety):

%sudo ALL=(ALL) NOPASSWD: /usr/sbin/sshd -D#便于从外部启动sshd。

 

3、开启windows自动运行sshd

　　

新建startssh.bat

cd C:\Windows\System32
bash.exe -c "sudo /usr/sbin/sshd -D"

新建 autostartssh.vbe

set ws=wscript.createobject("wscript.shell")
ws.run "startssh.bat /start",0

双击autostartssh.vbe，启动sshd
将autostartssh.vbe加入windows自启动

 

4、创建hadoop用户

sudo useradd -m hadoop

sudo passwd hadoop

sudo adduser hadoop sudo

5、设置免密码登录

使用hadoop账号登录

　　　cd ~

　　　ssh-keygen -t rsa

cd .ssh

cat ./id_rsa.pub >> ./authorized_keys

6、配置java环境

vim ~/.bashrc

 

export JAVA_HOME=/home/hadoop/programs/jdk1.8.0_131

export PATH=$PATH:$JAVA_HOME/bin

 

source ~/.bashrc

 

7、安装hadoop

tar -zxf hadoop-2.8.0.tar.gz

cd hadoop-2.8.0

./bin/hadoop version

 

默认单机版，运行测试例子

mkdir ./input

cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

cat ./output/* 

 

8、配置伪分布式

vim etc/hadoop/core-site.xml

 

#路径必须放在能设置linux权限的目录

 

修改为

<configuration>

       <property>

            <name>hadoop.tmp.dir</name>

            <value>file:/home/hadoop/programs/hadoop-2.8.0/tmp</value>

            <description>Abase for other temporary directories.</description>

       </property>

       <property>

            <name>fs.defaultFS</name>

            <value>hdfs://localhost:9000</value>

       </property>

</configuration>

 

修改 etc/hadoop/hdfs-site.xml

 

<configuration>

       <property>

            <name>dfs.replication</name>

            <value>1</value>

       </property>

       <property>

            <name>dfs.namenode.name.dir</name>

            <value>file:/home/hadoop/programs/hadoop-2.8.0/tmp/dfs/name</value>

       </property>

       <property>

            <name>dfs.datanode.data.dir</name>

            <value>file:/home/hadoop/programs/hadoop-2.8.0/tmp/dfs/data</value>

       </property>

</configuration>

 

格式化hdfs

./bin/hdfs namenode -format

 

vim ~/.bashrc

export HADOOP_SSH_OPTS="-p 2222" #根据实际情况编写，ssh的端口设置

 

vim etc/hadoop/hadoop-env.sh

 

注释掉export JAVA_HOME=${JAVA_HOME}， 添加新的JAVA_HOME

#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/home/hadoop/programs/jdk1.8.0_131

 

启动

./sbin/start-dfs.sh

停止

./sbin/stop-dfs.sh

 

使用jps来判断是否启动成功， “NameNode”、”DataNode” 和 “SecondaryNameNode”

 

9、运行伪分布式例子

./bin/hdfs dfs -mkdir -p /user/hadoop

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

./bin/hdfs dfs -ls input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

./bin/hdfs dfs -cat output/*

 

10、配置YARN

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

 

vim etc/hadoop/mapred-site.xml

 

<configuration>

       <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

       </property>

</configuration>

 

vim etc/hadoop/yarn.site.xml

 

<configuration>

       <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

           </property>

 

#如果出现running beyond virtual memory limits，添加下面这个配置

   <property>

       <name>yarn.nodemanager.vmem-check-enabled</name>

       <value>false</value>

   </property>

 

</configuration>

 

 

./sbin/start-yarn.sh      # 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

 

运行jps

多了 NodeManager 和 ResourceManager 两个后台进程