Hive的安装部署与环境变量等配置(三种安装部署方式)

三种安装方式，推荐第三种(博文底部附安装包+驱动包)

1.Derby版Hive直接使用(不推荐)

默认使用derby(数据库)维护元数据

缺点：此版本，在每个节点自己独立维护一个derby数据库，即在节点1添加了数据库，则在节点2无法查看(多个节点安装hive后，每个hive拥有一套自己的元数据，各个节点的库、表不同步)

解压Hive
cd /export/softwares
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C …/servers/

直接启动 bin/hive
cd …/servers/
cd hive-1.1.0-cdh5.14.0/
bin/hive
hive>create database myhive;

2.使用mysql共享hive元数据(rpm包方式安装不推荐)

第一步：查看系统自带的mysql的rpm包
rpm -qa | grep mysql
rpm -e mysql-libs-5.1.73-8.e16_8.x86_64 --nodeps

第二步：安装mysql的rpm包
rpm -ivh *.rpm

第三步：启动mysql服务
/etc/init.d/mysqld start 或 service mysqld start

第四步：查看mysql初始化密码
more /root/.mysql_secret


第五步：使用随机密码登录mysql并更新密码
mysql -uroot -p
SET PASSWORD=PASSWORD(‘123456’);

第六步：开启mysql远程连接

grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
root用户
%所有
‘123456’密码
刷新：flush privileges;

第七步：设置mysql的开机自动启动
chkconfig --add mysqld
chkconfig mysqld on

3.mysql数据库的安装(使用yum源进行安装，强烈推荐)

第一步：在线安装mysql相关软件包

确保/etc/yum.repos.d/下文件可直接访问网络(不是修改过的)

yum install -y mysql mysql-server mysql-devel

第二步：启动mysql服务并设置开机自启

/etc/init.d/mysqld start 或者 service mysqld start
开机自启：chkconfig mysqld on

第三步：进入mysql的客户端然后进行授权

mysql
mysql>show databases;
mysql>use mysql;

配置远程连接
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
root用户
%所有
‘123456’密码
刷新：flush privileges;

第四步：设置root用户连接mysql的密码

update user set password=password(‘123456’) where user=‘root’;
flush privileges;

第五步：修改hive的配置文件

修改 hive-env.sh：配置 HADOOP_HOME，配置 HIVE_CONF_DIR
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

修改 hive-site.xml：配置hive需要连接的mysql数据库
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
vim hive-site.xml
添加以下配置：

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
​        <property>
​                <name>javax.jdo.option.ConnectionURL</name>
//修改为mysql当前安装的节点名称或IP地址
​                <value>jdbc:mysql://node02:3306/hive?	createDatabaseIfNotExist=true</value>
​        </property>

​        <property>
​                <name>javax.jdo.option.ConnectionDriverName</name>
​                <value>com.mysql.jdbc.Driver</value>
​        </property>

​        <property>
​                <name>javax.jdo.option.ConnectionUserName</name>
​                <value>root</value>
​        </property>

​        <property>
​                <name>javax.jdo.option.ConnectionPassword</name>
​                <value>123456</value>
​        </property>

​        <property>
​                <name>hive.cli.print.current.db</name>
​                <value>true</value>
​        </property>

​        <property>
​                <name>hive.cli.print.header</name>
​                <value>true</value>
​        </property>

​        <property>
​                <name>hive.server2.thrift.bind.host</name>
//修改为mysql当前安装的节点名称或IP地址
​                <value>node02</value>
​        </property>

<!--
​        <property>
​                <name>hive.metastore.uris</name>
//修改为mysql当前安装的节点名称或IP地址
​                <value>thrift://node02:9083</value>
​        </property>
-->
</configuration>

添加mysql驱动包到hive的lib目录下
rz+驱动包

第六步：修改环境变量

修改完成后 source /etc/profile(刷新生效)
scp解压修改后的hive包给各个节点并刷新

第七步：验证是否安装成功
节点1创建新数据库

节点2或节点3均可查到新创建的数据库mytest，则安装成功

———————————————————————————————————
各个节点输入 h或hi 按下tab键，出现如下即说明配置成功

hive安装包：hive-1.1.0-cdh5.14.0.tar.gz(版本)
https://download.csdn.net/download/qq_40198103/11985666
hive-mysql驱动包：mysql-connector-java-5.1.38.jar(版本)
https://download.csdn.net/download/qq_35153200/10276216

文章来自 大萝卜博客网 新人建站 求支持

• 点赞 2
• 收藏
• 分享
• 文章举报