您的位置:首页 > 大数据

小白学习大数据之路——Hadoop3.0.0-alpha2 安装以及测试程序wordcount实践

2017-02-19 00:00 781 查看
好久没看大数据,最近发现用的软件都太旧了,所以准备更行所有大数据相关的新用法。

第一步:下载hadoop3.0.0-alpha2
我就给个网站吧,怎么下载(http://http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.0.0-alpha2/)你懂得。

第二步:解压并将文件移动到相应位置

tar -zxvf hadoop-3.0.0-alpha2.tar.gz
mv hadoop-3.0.0-alpha2 /usr/local/hadoop


第三步:配置参数
这里因为是新版本,所以文件路径有变化,我可是费好大力气找到的。相当于旧版本的conf文件

vi etc/hadoop/gadoop-env.sh   //进入文件后修改
export JAVA_HOME=*****       //你安装的Java路径
source hadoop-env.sh             //使修改文件生效


第四步:那就是jwordcount程序了

hadoop -version   //看看是否安装成功
mkdir input           //在Hadoop文件夹下新建文件夹input
cp etc/hadoop/* input
ls     input


最后一步:计数,看图吧

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output 'dfs[a-z.]+'




内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐