华为Hadoop FusionInsight+SUSE安装教程
2018-01-13 15:22
1051 查看
本篇博客通过详细步骤描述如何在SUSE Linux系统上搭建华为Hadoop FusionInsight集群,如有描述有误,请指正。
关于版本
FusionInsight版本:FusionInsight_HD_V100R002C60U10_SLES
SUSE版本:SUSE 11 SP4
以下是具体安装步骤,
一、 准备3台虚拟机集群(SUSE 11 SP4操作系统)
二、 修改主机名称(每个节点,假设为node1, node2, node3)
三、 关闭防火墙(每个节点)
四、 安装ntp服务并启动(每个节点)
五、 下载华为FusionInsight兼容SUSE版本安装包到node1
六、 在node1上解压安装包
七、 执行预检查
查看precheck_failed.log查看缺少哪些依赖包,使用zypper install安装依赖包(每个节点执行)
依赖包安装完成后重新执行预检查并查看precheck_failed.log,直至没有错误提示
八、 执行预安装
九、 执行安装
十、 打开8080网页执行后续Hadoop安装(安装步骤见以下截图)
URL: http://10.10.14.10:8080/web/ ,此URL会跳转至
https://10.10.14.10:20009/cas/login?service=https%3A%2F%2F10.10.14.10%3A28443%2Fweb%2Fcas_security_check.htm
初始密码为:admin/Admin@123,第一次登录需修改初始密码,修改完成使用新设定密码登录FusionInsight Manager界面开始执行安装,以下是安装截图
至此,FusionInsight Hadoop集群安装完毕!
注:安装过程中,可能经常会由于某些环境因素导致安装过程中断或报错,可以根据具体报错的服务去相应的日志文件查看问题。
FusionInsight Hadoop相关的目录:
/opt/huawei/Bigdata,类似于CDH的/opt/cloudera/
/var/log/Bigdata,类似于CDH的/var/log/
附相关链接
FusionInsight 门户:
http://enterprise.huawei.com/topic/FusionCloud_2013/index.html
FusionInsight 文档下载地址:
http://support.huawei.com/enterprise/productNewOffering?idAbsPath=7919749|7919788|19942925|21110924&pid=21110924
FusionInsight 论坛&FAQ地址:
http://support.huawei.com/ecommunity/bbs/list_1069,1420018021.html
FusionInsight 企业网版本下载地址:
http://support.huawei.com/enterprise/productNewOffering?idAbsPath=7919749|7919788|19942925|21110924&from=soft
FusionInsight 运营商版本下载地址:
http://support.huawei.com/carrier/navi#col=software&path=PBI1-21430725/PBI1-21430806/PBI1-21431665/PBI1-21110924
全面文档:
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000113248&lang=zh&idPath=7919749%7C7919788%7C19942925%7C21110924&clientWidth=1904&browseTime=1477042410698
关于版本
FusionInsight版本:FusionInsight_HD_V100R002C60U10_SLES
SUSE版本:SUSE 11 SP4
以下是具体安装步骤,
一、 准备3台虚拟机集群(SUSE 11 SP4操作系统)
二、 修改主机名称(每个节点,假设为node1, node2, node3)
--以node1为例 1 编辑/etc/hosts添加以下映射 10.10.14.10 node1 10.10.14.11 node2 10.10.14.12 node3 2编辑/etc/HOSTNAME,修改hostname node1 3 在命令行手动修改hostname hostname node1 4 logout再login后hostname修改生效
三、 关闭防火墙(每个节点)
rcSuSEfirewall2 stop chkconfig SuSEfirewall2_setup off
四、 安装ntp服务并启动(每个节点)
zypper install ntp rcntp start
五、 下载华为FusionInsight兼容SUSE版本安装包到node1
六、 在node1上解压安装包
tar -xzvf FusionInsight_HD_V100R002C60U10_SLES.tar.gz
七、 执行预检查
cd FusionInsight/software/precheck/ ./precheck.sh ======================================= node1:/opt/FusionInsight/software/precheck # ./precheck.sh [INFO] no config file input, so just check the local host. [INFO] 127.0.0.1: start checking local host, please wait several minutes... ./scriptFI//modules/DBService/check.sh: line 35: ipmitool: command not found ./scriptFI//modules/DBService/check.sh: line 52: iostat: command not found ./scriptFI//modules/Impala/check.sh: line 8: strings: command not found ==========Summary Output============================== Environment check failed,you can get more information from /opt/FusionInsight/software/precheck/log/precheck_failed.log
查看precheck_failed.log查看缺少哪些依赖包,使用zypper install安装依赖包(每个节点执行)
zypper install OpenIPMI acpid apparmor-parser bc binutils coreutils-lang dos2unix facter gettext-runtime glibc-i18ndata iotop ipmitool kdump kexec-tools keyutils libHX13 libapparmor1 libebl1 libelf0 libgcc43-32bit libgcc46-32bit libgcc_s1-32bit liblzo2-2 libnl libnuma1 libopenct1 libopensc2 librpcsecgss libsnmp15 libssh2-1 libstdc++6-32bit libstdc++33-32bit libstdc++33 libstdc++43-32bit libstdc++43 libstdc++46-32bit libstdc++46 libtalloc2 libtool libxml2-python makedumpfile metamail nscd nss_ldap numactl openldap2 opensc pam_ldap pam_mount pax pcre-32bit pcsc-lite prctl procinfo procmail python-curses python-openssl python-satsolver quota recode sdparm sharutils snmp-mibs sysstat tcsh terminfo vim-data yp-tools zip
依赖包安装完成后重新执行预检查并查看precheck_failed.log,直至没有错误提示
八、 执行预安装
1 cd FusionInsight/software/preinstall 2 编辑preinstall.ini,并修改 g_hosts="10.10.14.[10-12]", g_add_pkg=0 3 执行preinstall ./preinstall.sh 输出如下 ********************************** *****FusionInsight Preinstall***** ********************************** ***** Time:6s ***** Running:0 ***** Success:3 ***** Failure:0 ***** Total:3 ***** Schedule:100%
九、 执行安装
cd FusionInsight/software/ ./install.sh -m single =================================== Welcome =================================== === STEP 1 Checking the parameters. === STEP 2 Preparing for installation components. [done] === STEP 3 Installing the package. [done] === STEP 4 Waiting for ntp to startup. [done] ============================= Install Successfully ============================ Please visit http://10.10.14.10:8080/web/ to continue cluster installation. Installation is successful.
十、 打开8080网页执行后续Hadoop安装(安装步骤见以下截图)
URL: http://10.10.14.10:8080/web/ ,此URL会跳转至
https://10.10.14.10:20009/cas/login?service=https%3A%2F%2F10.10.14.10%3A28443%2Fweb%2Fcas_security_check.htm
初始密码为:admin/Admin@123,第一次登录需修改初始密码,修改完成使用新设定密码登录FusionInsight Manager界面开始执行安装,以下是安装截图
至此,FusionInsight Hadoop集群安装完毕!
注:安装过程中,可能经常会由于某些环境因素导致安装过程中断或报错,可以根据具体报错的服务去相应的日志文件查看问题。
FusionInsight Hadoop相关的目录:
/opt/huawei/Bigdata,类似于CDH的/opt/cloudera/
/var/log/Bigdata,类似于CDH的/var/log/
附相关链接
FusionInsight 门户:
http://enterprise.huawei.com/topic/FusionCloud_2013/index.html
FusionInsight 文档下载地址:
http://support.huawei.com/enterprise/productNewOffering?idAbsPath=7919749|7919788|19942925|21110924&pid=21110924
FusionInsight 论坛&FAQ地址:
http://support.huawei.com/ecommunity/bbs/list_1069,1420018021.html
FusionInsight 企业网版本下载地址:
http://support.huawei.com/enterprise/productNewOffering?idAbsPath=7919749|7919788|19942925|21110924&from=soft
FusionInsight 运营商版本下载地址:
http://support.huawei.com/carrier/navi#col=software&path=PBI1-21430725/PBI1-21430806/PBI1-21431665/PBI1-21110924
全面文档:
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000113248&lang=zh&idPath=7919749%7C7919788%7C19942925%7C21110924&clientWidth=1904&browseTime=1477042410698
相关文章推荐
- FusionInsight 安装依赖 rpm 包神器,现网SUSE11 SP1/SP3都验证过
- hadoop搭建教程之二(安装hadoop)
- 大数据系列教程_hadoop集群安装(对hdfs及resourcemanager做了HA)
- hadoop安装教程
- hadoop系列文档1-hadoop安装教程
- Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程
- 在 Ubuntu 上安装Hadoop 教程
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.8.0/Ubuntu16
- Hadoop安装教程_单机/伪分布式配置
- 从零开始安装Hadoop视频教程
- Hadoop2.7.2 window10 安装教程。
- [大数据]Hadoop 2.7.3 和Hbase 1.2.4安装教程
- Hadoop系统环境安装傻瓜教程
- 教程:在SUSE Linux Enterprise Server 11中安装 : lrzsz
- Hadoop Snappy安装终极教程
- cloudera hadoop maven编译安装步骤详细教程
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0(转)
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04(转载,修改部分内容)
- 入门级Hadoop集群搭建详细教程(九):MySql的安装
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS