Ubuntu系统安装+Hadoop伪分布式环境搭建+eclipse环境配置
2016-08-20 16:19
686 查看
以前,我的Hadoop平台都是师兄搭建的,现在师兄毕业了,只能自己动手搭建。
本来我是打算在实验室的台式机上安装VMware,然后安装Ubuntu,Hadoop,eclipse,并且进行配置,但是弄了好几天,各种问题,最终我把台式机装成了Ubuntu系统。
下面说一下搭建过程:
我是参考的网上的资料进行搭建的,附上网址,按部就班的来,当然要避免一些错误,也就没问题了。
怎样在VMware虚拟机中使用安装并设置Ubuntu系统_百度经验
http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04_给力星
http://www.powerxing.com/install-hadoop/
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS_给力星
http://www.powerxing.com/hadoop-build-project-using-eclipse/
所有需要下载的软件列清单如下
1、Ubuntu-16.04 64位,ubuntu-16.04-desktop-amd64.iso,是从Ubuntu中文官网下载的桌面版,附上百度云链接http://pan.baidu.com/s/1jI12SgY
2、Hadoop2.6.0版本,hadoop-2.6.0.tar.gz,是从Hadoop官网下载的,百度云链接http://pan.baidu.com/s/1dFmearB,据说Hadoop2.5版本之前的都是32位,之后的都是64位,但是我尝试了官网的2.5版本是64位无疑。
3、JDK7 64位,jdk-7u80-linux-i586.tar.gz,同样oracle官网下载的,百度云链接http://pan.baidu.com/s/1o764ltS
4、eclipse是在Ubuntu系统装好后在它自带的软件中心下载的,因为最新的eclipse的安装方式我不太喜欢,还是喜欢原来的版本,这个就没有链接了哦!喜欢的朋友可以自己去官网下哦!
5、Hadoop-eclipse插件,hadoop-eclipse-plugin-2.6.0.jar,这个据说很早的Hadoop版本,就是1.0版本吧里面有自带插件,但是我也有下载看过,没发现,自己懒得编译就在网上下了现成的,附上百度云链接http://pan.baidu.com/s/1eR8MwN4,这个插件版本一定要跟Hadoop版本相适应,不然会出错。
6、下面附上我探索过程中下载的其余版本,供大家选择。
32位eclipse,eclipse-inst-linux32.tar.gz,百度云链接http://pan.baidu.com/s/1kVlRMR1
1.2.1版本的Hadoop,hadoop-1.2.1.tar.gz,百度云链接http://pan.baidu.com/s/1o83wB5S,该版本Hadoop的mds,百度云链接http://pan.baidu.com/s/1bo76AYF
2.7.2版本的Hadoop,hadoop-2.7.2.tar.gz,百度云链接http://pan.baidu.com/s/1c14gMKo
Hadoop-eclipse插件,hadoop2x-eclipse-plugin.zip,百度云链接http://pan.baidu.com/s/1eSv53kI
jdk8 32位,jdk-8u101-linux-i586.gz,百度云链接http://pan.baidu.com/s/1qYkvHUW
ubuntu16.0.4 32位,ubuntu-16.04-desktop-i386,百度云链接http://pan.baidu.com/s/1dFA09Sd
前期准备的工作做完了下面来说说要注意的问题。
1、Hadoop的位数一定要与ubuntu的位数相符。我就是因为这个问题在安装的时候浪费了三四天时间,当时在按照链接中的教程进行操作之后,在eclipse上运行mapreduce程序时,出现错误,当时的错误没有记录下来,但是当时在网上查找了很多解决方案,依次进行尝试之后,发现是两者位数不同,我的ubuntu系统装的是32位,Hadoop是64位,主要是不知道Hadoop2.7是64位。我不知道ubuntu
64位,Hadoop 32位行不行得通,但是最好还是位数一样比较好。另外,网上有人说Hadoop官网的Hadoop1.5是32位,但是我亲测是64位。
检查自己ubuntu位数的方法如下:
(1)按ctrl+shift+t 快捷键,打开终端,输入sudo uname --m ,按下enter
(2)如果显示i686,就是安装了32位操作系统,如果显示 x86_64,就是安装了64位操作系统
检查自己Hadoop位数的方法如下:
(1)按ctrl+shift+t 快捷键,打开终端,进入Hadoop安装目录下的/lib/native
(2)输入file libhadoop.so.1.0.0.0,按下enter,如果显示 x86_64,就是安装了64位Hadoop
2、因为Hadoop-eclipse的插件不好找,所以我打算换64位ubuntu,因为是在VMware下装的ubuntu,所以要进入BIOS打开虚拟化技术。我的台式机是Dell optiplex 360,根本不支持开启虚拟化,笑哭了,进行这些操作又浪费了我一天时间。
3、最后,直接把Dell台式机装成了ubuntu系统,也蛮好用的,也能上网看电视,待会儿打算去装QQ。
总之,一句话,不会的去问度娘。
本来我是打算在实验室的台式机上安装VMware,然后安装Ubuntu,Hadoop,eclipse,并且进行配置,但是弄了好几天,各种问题,最终我把台式机装成了Ubuntu系统。
下面说一下搭建过程:
我是参考的网上的资料进行搭建的,附上网址,按部就班的来,当然要避免一些错误,也就没问题了。
怎样在VMware虚拟机中使用安装并设置Ubuntu系统_百度经验
http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04_给力星
http://www.powerxing.com/install-hadoop/
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS_给力星
http://www.powerxing.com/hadoop-build-project-using-eclipse/
所有需要下载的软件列清单如下
1、Ubuntu-16.04 64位,ubuntu-16.04-desktop-amd64.iso,是从Ubuntu中文官网下载的桌面版,附上百度云链接http://pan.baidu.com/s/1jI12SgY
2、Hadoop2.6.0版本,hadoop-2.6.0.tar.gz,是从Hadoop官网下载的,百度云链接http://pan.baidu.com/s/1dFmearB,据说Hadoop2.5版本之前的都是32位,之后的都是64位,但是我尝试了官网的2.5版本是64位无疑。
3、JDK7 64位,jdk-7u80-linux-i586.tar.gz,同样oracle官网下载的,百度云链接http://pan.baidu.com/s/1o764ltS
4、eclipse是在Ubuntu系统装好后在它自带的软件中心下载的,因为最新的eclipse的安装方式我不太喜欢,还是喜欢原来的版本,这个就没有链接了哦!喜欢的朋友可以自己去官网下哦!
5、Hadoop-eclipse插件,hadoop-eclipse-plugin-2.6.0.jar,这个据说很早的Hadoop版本,就是1.0版本吧里面有自带插件,但是我也有下载看过,没发现,自己懒得编译就在网上下了现成的,附上百度云链接http://pan.baidu.com/s/1eR8MwN4,这个插件版本一定要跟Hadoop版本相适应,不然会出错。
6、下面附上我探索过程中下载的其余版本,供大家选择。
32位eclipse,eclipse-inst-linux32.tar.gz,百度云链接http://pan.baidu.com/s/1kVlRMR1
1.2.1版本的Hadoop,hadoop-1.2.1.tar.gz,百度云链接http://pan.baidu.com/s/1o83wB5S,该版本Hadoop的mds,百度云链接http://pan.baidu.com/s/1bo76AYF
2.7.2版本的Hadoop,hadoop-2.7.2.tar.gz,百度云链接http://pan.baidu.com/s/1c14gMKo
Hadoop-eclipse插件,hadoop2x-eclipse-plugin.zip,百度云链接http://pan.baidu.com/s/1eSv53kI
jdk8 32位,jdk-8u101-linux-i586.gz,百度云链接http://pan.baidu.com/s/1qYkvHUW
ubuntu16.0.4 32位,ubuntu-16.04-desktop-i386,百度云链接http://pan.baidu.com/s/1dFA09Sd
前期准备的工作做完了下面来说说要注意的问题。
1、Hadoop的位数一定要与ubuntu的位数相符。我就是因为这个问题在安装的时候浪费了三四天时间,当时在按照链接中的教程进行操作之后,在eclipse上运行mapreduce程序时,出现错误,当时的错误没有记录下来,但是当时在网上查找了很多解决方案,依次进行尝试之后,发现是两者位数不同,我的ubuntu系统装的是32位,Hadoop是64位,主要是不知道Hadoop2.7是64位。我不知道ubuntu
64位,Hadoop 32位行不行得通,但是最好还是位数一样比较好。另外,网上有人说Hadoop官网的Hadoop1.5是32位,但是我亲测是64位。
检查自己ubuntu位数的方法如下:
(1)按ctrl+shift+t 快捷键,打开终端,输入sudo uname --m ,按下enter
(2)如果显示i686,就是安装了32位操作系统,如果显示 x86_64,就是安装了64位操作系统
检查自己Hadoop位数的方法如下:
(1)按ctrl+shift+t 快捷键,打开终端,进入Hadoop安装目录下的/lib/native
(2)输入file libhadoop.so.1.0.0.0,按下enter,如果显示 x86_64,就是安装了64位Hadoop
2、因为Hadoop-eclipse的插件不好找,所以我打算换64位ubuntu,因为是在VMware下装的ubuntu,所以要进入BIOS打开虚拟化技术。我的台式机是Dell optiplex 360,根本不支持开启虚拟化,笑哭了,进行这些操作又浪费了我一天时间。
3、最后,直接把Dell台式机装成了ubuntu系统,也蛮好用的,也能上网看电视,待会儿打算去装QQ。
总之,一句话,不会的去问度娘。
相关文章推荐
- ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境
- Ubuntu配置hadoop单机+伪分布式环境+eclipse--安装hadoop(一)
- Ubuntu配置hadoop单机+伪分布式环境+eclipse--安装eclipse并配置插件(四)
- Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置
- Android系统编译环境搭建—Ubuntu14.04安装&root登录&Chromium root启动&安装配置交叉编译环境
- 在 Ubuntu 上搭建 Hadoop 分布式集群 Eclipse 开发环境
- <集合帖>Ubuntu15.04 Linux环境下安装配置JDK、Eclipse、android studio和Hadoop
- Ubuntu系统下使用Eclipse搭建hadoop2.4运行环境
- linux 下 VNC Server安装配置及 eclipse CDT C/C++ 开发环境搭建(我用的是阿里云服务器 ubuntu 12.04 64-bit,无图形化界面)
- 在Linux系统中配置Hadoop环境(1)---在虚拟机上安装Linux Ubuntu系统
- Ubuntu系统下Hadoop伪分布模式及eclipse环境搭建
- Ubuntu系统下的Hadoop集群(1)_Hadoop安装教程_单机/伪分布式配置
- ubuntu环境下搭建Hadoop伪分布式环境和Eclipse开发环境
- WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备
- Hadoop环境搭建-入门伪分布式配置(Mac OS,0.21.0,Eclipse 3.6)
- Hadoop 2.0:分布式环境搭建安装配置
- hadoop - hadoop2.6 分布式 - 集群环境搭建 - 系统搭建和网络配置
- Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验
- hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式安装配置与启动
- Hadoop 2.6 在MAC YOSEMITE 上安装配置 以及开发环境eclipse搭建(一)