linux 安装hadoop是32位的需要手工编译成64位
2017-02-20 14:09
537 查看
查看hadoop2.4.1版本是32bit or 64bit?
[hadoop@master-hadoop hadoop-2.4.1]$ls lib/native
libhadoop.a libhadoop.so.1.0.0 libhdfs.so
libhadooppipes.a libhadooputils.a libhdfs.so.0.0.0
使用file命令查看libhadoop.so.1.0.0:是32-bit
[hadoop@master-hadoop hadoop-2.4.1]$ filelib/native/libhadoop.so.1.0.0
lib/native/libhadoop.so.1.0.0lib/native/libhadoop.so.1.0.0: ELF 32-bitLSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, notstripped
必须下载重新编译需要的软件包
findbugs-3.0.0.tar.gz (忽略)
protobuf-2.5.0.tar.gz
apache-maven-3.0.5-bin.tar.gz
hadoop-2.4.1-src.tar.gz
查看这个文件BUILDING.txt
[root@master-hadoop hadoop-2.4.1-src]# more BUILDING.txt
官方编译说明:
*JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling nativecode)
* Internet connection for first build (tofetch all Maven and Hadoop dependencies)
(1)解压protobuf-2.5.0.tar.gz文件
[root@master-hadoop hadoop]# yum install gcc*
[root@master-hadoop hadoop]# yum install ncurses-devel
[root@master-hadoop hadoop]# yum install openssl-devel
[root@master-hadoop hadoop]# yum install cmake
b. 解压缩(注意压缩文件后缀,protobuf-2.5.0.安装包是—gzip文件,解压时需加–z)
[hadoop@master-hadoopsoftware]$tar –zxvf protobuf-2.5.0.tar.gz
c. 安装
解压之后的文件protobuf-2.5.0到opt/modules目录下
进入configure配置文件
[root@master-hadoopprotobuf-2.5.0]# ./configure--prefix=/usr/local/protoc
安装protobuf-2.5.0
[root@master-hadoopprotobuf-2.5.0]# make
[root@master-hadoopprotobuf-2.5.0]# make check
[root@master-hadoopprotobuf-2.5.0]# make install
添加环境变量 vim /etc/profile,添加
[root@master-hadoop/]# vi /etc/profile
export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/
[root@master-hadoop/]# source /etc/profile --保存
同时在~/.profile中添加上面两行代码,否则会出现登录用户找不到protoc命令。
[root@master-hadoop /]# protoc –-version
查看是否安装成功
libprotoc 2.5.0
(2)解压hadoop-2.4.1-src.tar.gz文件
进入hadoop-2.4.1-src.tar.gz源文件
[hadoop@master-hadoop ~]$ cd opt/software/hadoop-2.4.1-src
下载hadoop-2.4.1-src.tar.gz源文件 上传之后解压
[root@master-hadoop software]# tar zxvf hadoop-2.4.1-src.tar.gz
在源文件pom.xml中修改如下:
(3)编译hadoop
[root@master-hadoop hadoop-2.4.1-src]# mvn package-Pdist,native -DskipTests -Dtar
..............
[INFO] BUILDSUCCESS
[INFO]------------------------------------------------------------------------
[INFO] Total time:1:40:59.407s
[INFO] Finished at:Mon Feb 20 11:42:58 CST 2017
[INFO] FinalMemory: 87M/239M
[INFO]------------------------------------------------------------------------
..编译需要较长时间大概1个半小时左右...........
返回到根目录
[root@master-hadoophadoop]# cd ../../..
将编译好的64位覆盖32位的文件夹
[root@master-hadoop /]# mv
/home/hadoop/opt/software/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/lib/native
/home/hadoop/usr/local/hadoop/hadoop-2.4.1/lib
重启hadoop
[root@master-hadooplib]# reboot
再次查看的版本是64位
[hadoop@master-hadoop hadoop-2.4.1]$ filelib/native/libhadoop.so.1.0.0
lib/native/libhadoop.so.1.0.0: ELF 64-bitLSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped
[hadoop@master-hadoop hadoop-2.4.1]$ls lib/native
libhadoop.a libhadoop.so.1.0.0 libhdfs.so
libhadooppipes.a libhadooputils.a libhdfs.so.0.0.0
使用file命令查看libhadoop.so.1.0.0:是32-bit
[hadoop@master-hadoop hadoop-2.4.1]$ filelib/native/libhadoop.so.1.0.0
lib/native/libhadoop.so.1.0.0lib/native/libhadoop.so.1.0.0: ELF 32-bitLSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, notstripped
必须下载重新编译需要的软件包
findbugs-3.0.0.tar.gz (忽略)
protobuf-2.5.0.tar.gz
apache-maven-3.0.5-bin.tar.gz
hadoop-2.4.1-src.tar.gz
查看这个文件BUILDING.txt
[root@master-hadoop hadoop-2.4.1-src]# more BUILDING.txt
官方编译说明:
*JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling nativecode)
* Internet connection for first build (tofetch all Maven and Hadoop dependencies)
(1)解压protobuf-2.5.0.tar.gz文件
a. 安装依赖软件(必须能上网哦!)
[root@master-hadoop hadoop]# yum install gcc*[root@master-hadoop hadoop]# yum install ncurses-devel
[root@master-hadoop hadoop]# yum install openssl-devel
[root@master-hadoop hadoop]# yum install cmake
b. 解压缩(注意压缩文件后缀,protobuf-2.5.0.安装包是—gzip文件,解压时需加–z)
[hadoop@master-hadoopsoftware]$tar –zxvf protobuf-2.5.0.tar.gz
c. 安装
通常建议安装到/usr/local目录下,执行configure时,指定--prefix=/usr/local/protoc即可
解压之后的文件protobuf-2.5.0到opt/modules目录下 [root@master-hadoop hadoop]# mvopt/software/protobuf-2.5.0 opt/modules/
进入protobuf-2.5.0目录
[root@master-hadoop hadoop]# cdopt/modules/protobuf-2.5.0进入configure配置文件
[root@master-hadoopprotobuf-2.5.0]# ./configure--prefix=/usr/local/protoc
安装protobuf-2.5.0
[root@master-hadoopprotobuf-2.5.0]# make
[root@master-hadoopprotobuf-2.5.0]# make check
[root@master-hadoopprotobuf-2.5.0]# make install
添加环境变量 vim /etc/profile,添加
[root@master-hadoop/]# vi /etc/profile
export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/
[root@master-hadoop/]# source /etc/profile --保存
同时在~/.profile中添加上面两行代码,否则会出现登录用户找不到protoc命令。
[root@master-hadoop /]# protoc –-version
查看是否安装成功
libprotoc 2.5.0
(2)解压hadoop-2.4.1-src.tar.gz文件
进入hadoop-2.4.1-src.tar.gz源文件
[hadoop@master-hadoop ~]$ cd opt/software/hadoop-2.4.1-src
下载hadoop-2.4.1-src.tar.gz源文件 上传之后解压
[root@master-hadoop software]# tar zxvf hadoop-2.4.1-src.tar.gz
在源文件pom.xml中修改如下:
(3)编译hadoop
[root@master-hadoop hadoop-2.4.1-src]# mvn package-Pdist,native -DskipTests -Dtar
..............
[INFO] BUILDSUCCESS
[INFO]------------------------------------------------------------------------
[INFO] Total time:1:40:59.407s
[INFO] Finished at:Mon Feb 20 11:42:58 CST 2017
[INFO] FinalMemory: 87M/239M
[INFO]------------------------------------------------------------------------
..编译需要较长时间大概1个半小时左右...........
返回到根目录
[root@master-hadoophadoop]# cd ../../..
将编译好的64位覆盖32位的文件夹
[root@master-hadoop /]# mv
/home/hadoop/opt/software/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/lib/native
/home/hadoop/usr/local/hadoop/hadoop-2.4.1/lib
重启hadoop
[root@master-hadooplib]# reboot
再次查看的版本是64位
[hadoop@master-hadoop hadoop-2.4.1]$ filelib/native/libhadoop.so.1.0.0
lib/native/libhadoop.so.1.0.0: ELF 64-bitLSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped
相关文章推荐
- 64位的linux装的hadoop是32位的,需要手工编译
- 64位的linux装的hadoop是32位的,需要手工编译
- Linux 64位安装32位编译库
- Ubuntu64位编译32位的嵌入式linux时需要做的事情
- hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档
- Linux 环境下部署Hadoop 2.x,建议尝试64位系统下进行本地编译的安装方式
- 64位LINUX下hadoop2.2.0重新编译及安装步骤
- linux x86(64位/32位)系统 libevent 编译安装说明
- 64位的ubuntu14.04 LTS安装 Linux交叉编译工具链及32位“ia32-libs”依赖库
- 64位的ubuntu14.04 LTS安装 Linux交叉编译工具链及32位“ia32-libs”依赖库
- Linux 环境下部署Hadoop 2.x,建议尝试64位系统下进行本地编译的安装方式
- hadoop32位编译为64位以及安装运行注意事项--centos7
- hadoop2.5发布:最新编译 32位、64位安装、源码包、API以及新特性
- 如何在64位Linux上编译安装32位wine。
- 32位LINUX下hadoop2.2.0重新编译及安装步骤
- 在64位Linux系统上安装64位Oracle 10gR2,到底需要装哪些包?
- 64位Linux下编译32位程序
- linuxdeepin64位安装32位软件
- 在64位linux上安装32位程序报错找不到ld-linux.so.2
- 如何在linux 32位机器编译64位程序