Ubuntu下Hive-2.1.1安装

hive的元数据存储默认是derby数据库，以下是将mysql作为元数据的存储数据库

1）下载包，解压包，移动包到某位置（自己指定）

2）添加hive的环境变量，根据实际安装情况来定（ubuntu是在.bashrc文件中）

export HIVE_HOME=/usr/local/hive

export PATH="$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf"

3)将/conf文件夹下的hive-default.xml.template 改为 hive-default.xml

mv hive-default.xml.template hive-default.xml

该文件的作用是hive会默认读取该文件中的配置项，如果要修改其中的配置项，需要增加一个配置文件hive-site.xml，需要添加如下的配置节，

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

    <description>JDBC connect string for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hive</value>

    <description>username to use against metastore database</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>1</value>

    <description>password to use against metastore database</description>

  </property>

以上四个配置节是用于hive链接mysql时的驱动/用户名/密码，其中要求在mysql中创建一个hive数据库，并且将所有的权限赋予hive用户（mysql> grant all on hive.* to 'hive'@'%' identified by '1';flush privileges;）

  <property>

    <name>hive.metastore.warehouse.dir</name>

    <value>/user/hive/warehouse</value>

    <description>dfs dir:this directory is to store data</description>

  </property>

用于将hive数据存储到配置节中指定的hdfs位置

  <property>

    <name>hive.exec.scratchdir</name>

    <value>/user/hive/tmp</value>

    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission.</description>

  </property>

用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果,hdfs路径

  <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/usr/local/hive/iotmp</value>

    <description>Local scratch space for Hive jobs</description>

  </property>

用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果,本地路径

  <property>

    <name>hive.querylog.location</name>

    <value>/usr/local/hive/log</value>

    <description>Location of Hive run time structured log file</description>

  </property>

用于存放hive job的日志

  <property>

    <name>hive.downloaded.resources.dir</name>

    <value>/usr/local/hive/iotmp</value>

    <description>Temporary local directory for added resources in the remote file system.</description>

  </property>

</configuration>

4）创建hive-site.xml配置节中需要的文件夹，同时需要修改权限

hdfs dfs -mkdir /user/hive/warehouse

hdfs dfs -mkdir /user/hive/tmp

hdfs dfs -chmod 777 /user/hive/warehouse

hdfs dfs -chmod 777 /user/hive/tmp

5)修改hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/usr/local/hadoop

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/usr/local/hive/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

6）将hive-exec-log4j2.properties.template改名为hive-log4j2.properties

其中property.hive.log.dir = /usr/local/hive/log 指定hive系统日志的存放位置

property.hive.query.id = hive   

property.hive.log.file = ${sys:hive.query.id}.log 指定hive系统日志的名称

注：hive有两种日志，一种是hive系统日志，在此配置，另一种是job日志，在hive-site.xml中配置

7）拷贝mysql-connector-java-5.1.34到hive的lib路径下

8)设置hive与mysql关联（这样才能将hive的元数据存放到hive的数据库中,如果hive元数据使用derby存储，则不需要这一步）
schematool -initSchma -dbType mysql

9）命令行输入hive启动即可（安装过程可能会遇到奇怪的问题，请认真阅读日志，同时仔细看看hive-default.xml中配置节的意义，确实需要特色设置的再写入到hive-site.xml中，最后mysql-connect-java版本问题可能会导致hive数据库无法删除表等奇怪的问题，仔细分析，慢慢摸索！）