Ambari Hadoop集群HA整合Hue安装介绍

HUE整合Ambari安装部署 
1.复用bigdata3的mysql

设置hue用户

create database hue_to_mysql character set utf8 ;  

CREATE USER hue@'%'IDENTIFIED BY '7dYDrMECSQ';

GRANT ALL PRIVILEGES ON *.* TO hue@'%';

FLUSH PRIVILEGES;

 

2.下载Hue安装包

(1)编译相关依赖环境rpm包安装

sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi-devel

(2)解压hue源码包至/usr/hdp/2.5.3.0-37/.

tar –zxvf /date/soft/hue-3.11.0.tgz -C /usr/hdp/2.5.3.0-37/

      改名

mv hue-3.11.0 hue

(3)编译及安装

cd  /usr/hdp/2.5.3.0-37/hue

执行  make apps
编译源代码

执行完会多上面两个文件，说明编译安装成功

 

4.在bigdata2上安装HttpFs

sudo yum install hadoop-httpfs

(1)编辑/etc/hadoop/conf/core-site.xml

<property>     <name>hadoop.proxyuser.httpfs.hosts</name>     <value>*</value>     </property>     <property>     <name>hadoop.proxyuser.httpfs.groups</name>     <value>*</value>     </property>

这边是定义可以使用httpfs的用户组和host，写*就是不限制

配置好之后重启hadoop。

注：这里实在ambari上更改配置文件的

(2)启动HttpFs

sudo service hadoop-httpfs  start

(3)使用HttpFs

打开浏览器访问
http://bigdata2:14000/webhdfs/v1?op=LISTSTATUS&user.name=httpfs

 

5.编辑 /etc/Hadoop-httpfs/conf/httpfs-site.xml

<!-- Hue HttpFS proxy user setting -->   <property>     <name>httpfs.proxyuser.hue.hosts</name>     <value>*</value>   </property>   <property>     <name>httpfs.proxyuser.hue.groups</name>     <value>*</value>   </property>

 

6.在hue里面配置上httpfs的地址

编辑 /usr/hdp/2.5.3.0-37/hue/desktop/conf/hue.ini，因为上一课我是在bigdata2上安装的HttpFs，所以地址写成bigdata2的地址.

7.在hue.ini配置yarn

 

8.在hue.ini配置zookeeper

 

9.在hue.ini配置hbase

首先启动 hbase-thrift
服务。

 

10.在hue.ini配置Hive

找到 [beeswax]
段落，为什么叫[beeswax]而不是[hive]这是历史原因.

 

11.在ambari中hive，hdfs的配置文件中加上

<!-- Hue HttpFS proxy user setting -->   <property>     <name>httpfs.proxyuser.hue.h d018 osts</name>     <value>*</value>   </property>   <property>     <name>httpfs.proxyuser.hue.groups</name>     <value>*</value>   </property>

 

12.重启ambari

13.切换hue元数据存储至mysql中
 
导入元数据：

cd /usr/hdp/2.5.3.0-37/hue/build/env/bin ./hue syncdb

创建超级管理员
Username：*****
Password：*****
Emailaddress：不输
 
同步元数据到mysql中：

./hue migrate

 
15.修改hue日志存储路径

vim $HUE_HOME/desktop/conf/log.conf

将文件中的所有%LOG_DIR%更改为：data/app/hue
 
16.启动hue
在/usr/hdp/2.5.3.0-37/hue/build/env/bin下调用supervisor
 
17.在ambari上添加oozie
设置oozie用户

create database oozie character set utf8 ;  

CREATE USER oozie @'%'IDENTIFIED BY '7dYDrMECSQ';

GRANT ALL PRIVILEGES ON *.* TO oozie @'%';

FLUSH PRIVILEGES;

 

18.在ambari中配置oozie
在hue.ini中配置oozie
 
19.在hue.ini中配置mysql连接bigdata3的数据库