您的位置:首页 > 编程语言 > Java开发

Ubuntu系统安装+Hadoop伪分布式环境搭建+eclipse环境配置

2016-08-20 16:19 686 查看
以前,我的Hadoop平台都是师兄搭建的,现在师兄毕业了,只能自己动手搭建。

本来我是打算在实验室的台式机上安装VMware,然后安装Ubuntu,Hadoop,eclipse,并且进行配置,但是弄了好几天,各种问题,最终我把台式机装成了Ubuntu系统。

下面说一下搭建过程:

我是参考的网上的资料进行搭建的,附上网址,按部就班的来,当然要避免一些错误,也就没问题了。

怎样在VMware虚拟机中使用安装并设置Ubuntu系统_百度经验

http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04_给力星

http://www.powerxing.com/install-hadoop/

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS_给力星

http://www.powerxing.com/hadoop-build-project-using-eclipse/

所有需要下载的软件列清单如下

1、Ubuntu-16.04 64位,ubuntu-16.04-desktop-amd64.iso,是从Ubuntu中文官网下载的桌面版,附上百度云链接http://pan.baidu.com/s/1jI12SgY

2、Hadoop2.6.0版本,hadoop-2.6.0.tar.gz,是从Hadoop官网下载的,百度云链接http://pan.baidu.com/s/1dFmearB,据说Hadoop2.5版本之前的都是32位,之后的都是64位,但是我尝试了官网的2.5版本是64位无疑。

3、JDK7 64位,jdk-7u80-linux-i586.tar.gz,同样oracle官网下载的,百度云链接http://pan.baidu.com/s/1o764ltS

4、eclipse是在Ubuntu系统装好后在它自带的软件中心下载的,因为最新的eclipse的安装方式我不太喜欢,还是喜欢原来的版本,这个就没有链接了哦!喜欢的朋友可以自己去官网下哦!

5、Hadoop-eclipse插件,hadoop-eclipse-plugin-2.6.0.jar,这个据说很早的Hadoop版本,就是1.0版本吧里面有自带插件,但是我也有下载看过,没发现,自己懒得编译就在网上下了现成的,附上百度云链接http://pan.baidu.com/s/1eR8MwN4,这个插件版本一定要跟Hadoop版本相适应,不然会出错。

6、下面附上我探索过程中下载的其余版本,供大家选择。

     32位eclipse,eclipse-inst-linux32.tar.gz,百度云链接http://pan.baidu.com/s/1kVlRMR1

    1.2.1版本的Hadoop,hadoop-1.2.1.tar.gz,百度云链接http://pan.baidu.com/s/1o83wB5S,该版本Hadoop的mds,百度云链接http://pan.baidu.com/s/1bo76AYF

    2.7.2版本的Hadoop,hadoop-2.7.2.tar.gz,百度云链接http://pan.baidu.com/s/1c14gMKo

    Hadoop-eclipse插件,hadoop2x-eclipse-plugin.zip,百度云链接http://pan.baidu.com/s/1eSv53kI

    jdk8 32位,jdk-8u101-linux-i586.gz,百度云链接http://pan.baidu.com/s/1qYkvHUW

    ubuntu16.0.4 32位,ubuntu-16.04-desktop-i386,百度云链接http://pan.baidu.com/s/1dFA09Sd

前期准备的工作做完了下面来说说要注意的问题。

1、Hadoop的位数一定要与ubuntu的位数相符。我就是因为这个问题在安装的时候浪费了三四天时间,当时在按照链接中的教程进行操作之后,在eclipse上运行mapreduce程序时,出现错误,当时的错误没有记录下来,但是当时在网上查找了很多解决方案,依次进行尝试之后,发现是两者位数不同,我的ubuntu系统装的是32位,Hadoop是64位,主要是不知道Hadoop2.7是64位。我不知道ubuntu
64位,Hadoop 32位行不行得通,但是最好还是位数一样比较好。另外,网上有人说Hadoop官网的Hadoop1.5是32位,但是我亲测是64位。

检查自己ubuntu位数的方法如下:

(1)按ctrl+shift+t 快捷键,打开终端,输入sudo uname --m ,按下enter

(2)如果显示i686,就是安装了32位操作系统,如果显示 x86_64,就是安装了64位操作系统

检查自己Hadoop位数的方法如下:

(1)按ctrl+shift+t 快捷键,打开终端,进入Hadoop安装目录下的/lib/native

(2)输入file libhadoop.so.1.0.0.0,按下enter,如果显示 x86_64,就是安装了64位Hadoop

2、因为Hadoop-eclipse的插件不好找,所以我打算换64位ubuntu,因为是在VMware下装的ubuntu,所以要进入BIOS打开虚拟化技术。我的台式机是Dell optiplex 360,根本不支持开启虚拟化,笑哭了,进行这些操作又浪费了我一天时间。

3、最后,直接把Dell台式机装成了ubuntu系统,也蛮好用的,也能上网看电视,待会儿打算去装QQ。

总之,一句话,不会的去问度娘

   
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop eclipse ubuntu
相关文章推荐