搭建3个节点的hadoop集群(完全分布式部署)--2安装mysql及hive
2018-04-01 10:30
1306 查看
网上下载mysql安装包文件,我下载的是:mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz,tar解压后mv到mysql文件夹,
启动mysql服务
service mysqld start
登录mysqlmysql -u root -p输入密码后,登录成功
创建数据库hive,用来保存hive元数据
create database hive;
操作数据库的权限
grant all on hive.* to root@'*' identified by '123456789'
flush privileges;
到此,hive的元数据库安装完成。
注:中间也遇到很多问题,如安装完成后初始密码无效,登录不了mysql,赋予权限语句错误.....
这里就不详细记录了。
接下来开始安装hive
hive安装了两次,第一次安装hive2.1.1版本后,启动不了,一直报以下错误Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor经各种操作及配置,还是启动不了,最后降低hive版本后,问题解决,下面详细说明下安装步骤:
1.下载安装包文件,并把文件上传到/opt文件夹下面,tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz解压后,目录如下:/opt/hive-0.13.1
2.在/opt/hive-0.13.1/conf目录下新建hive-site.xml文件,配置如下:<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.205.136:3306/hive?createDatabaseIfNotExist=true</value>
</property> //元数据库名hive
<property>
<name>hive.metastore.schema.verfication</name>
<value>false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value> //数据库用户名
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456789</value> //数据库密码
</property>
</configuration>
配置hive-env.sh文件,在文件末尾加上
export HADOOP_HOME=/opt/hadoop-2.7.5
export JAVA_HOME=/opt/java1.8.0_121
export HIVE_CONF_DIR=/opt/hive-0.13.1/conf
export HIVE_AUX_JARS_PATH=/opt/hive-0.13.1/lib
export PATH=$PATH:$HIVE_HOME/bin然后执行source /ec/profile使环境变量立即生效把mysql的JDBC驱动jar包移动到lib目录下,否则hive不能成功连接mysql。
到此HIVE安装完成,先启动hadoop mysql,然后启动hive可以验证安装是否成功。
启动mysql服务
service mysqld start
登录mysqlmysql -u root -p输入密码后,登录成功
创建数据库hive,用来保存hive元数据
create database hive;
操作数据库的权限
grant all on hive.* to root@'*' identified by '123456789'
flush privileges;
到此,hive的元数据库安装完成。
注:中间也遇到很多问题,如安装完成后初始密码无效,登录不了mysql,赋予权限语句错误.....
这里就不详细记录了。
接下来开始安装hive
hive安装了两次,第一次安装hive2.1.1版本后,启动不了,一直报以下错误Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor经各种操作及配置,还是启动不了,最后降低hive版本后,问题解决,下面详细说明下安装步骤:
1.下载安装包文件,并把文件上传到/opt文件夹下面,tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz解压后,目录如下:/opt/hive-0.13.1
2.在/opt/hive-0.13.1/conf目录下新建hive-site.xml文件,配置如下:<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.205.136:3306/hive?createDatabaseIfNotExist=true</value>
</property> //元数据库名hive
<property>
<name>hive.metastore.schema.verfication</name>
<value>false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value> //数据库用户名
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456789</value> //数据库密码
</property>
</configuration>
配置hive-env.sh文件,在文件末尾加上
export HADOOP_HOME=/opt/hadoop-2.7.5
export JAVA_HOME=/opt/java1.8.0_121
export HIVE_CONF_DIR=/opt/hive-0.13.1/conf
export HIVE_AUX_JARS_PATH=/opt/hive-0.13.1/lib
修改/etx/profile文件,加上以下语句export HIVE_HOME=/opt/hive-0.13.1
export PATH=$PATH:$HIVE_HOME/bin然后执行source /ec/profile使环境变量立即生效把mysql的JDBC驱动jar包移动到lib目录下,否则hive不能成功连接mysql。
到此HIVE安装完成,先启动hadoop mysql,然后启动hive可以验证安装是否成功。
相关文章推荐
- 搭建3个节点的hadoop集群(完全分布式部署)--3 zookeeper与hbase安装
- 搭建3个节点的hadoop集群(完全分布式部署)5 flume安装及flume导数据到hdfs
- 完全分布式Hadoop集群的安装搭建和配置(4节点)
- Hadoop2.x部署之完全分布式集群环境搭建
- 基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装
- centos7(vm)下hadoop2.7.2完全分布式安装验证(x86)-hadoop3节点集群(2副本)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~
- 【Hadoop2.7.0、Zookeeper3.4.6、JDK1.7】搭建完全分布式的hadoop,HA部署安装,自动备援
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- Ambari安装之部署3个节点的HA分布式集群
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~) .
- Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式
- HIVE完全分布式集群安装过程(元数据库: MySQL) [复制链接]
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- 伪分布式集群环境搭建、jdk、hadoop、zk、hbase、hive、mysql
- hadoop分布式集群hive-mysql的安装配置
- ubuntu 虚拟机 完全分布式 hadoop集群搭建 hive搭建 ha搭建
- hadoop集群配置之hive1.2.0安装部署(远程mysql)
- Hadoop2.6完全分布式多节点集群安装配置