Spark整合Hive

安装hive 

解压hive到指定的目录中，一般解压在/usr/local/hive

tar -zxvf hive-xxx.tar.gz

1

配置系统环境 



配置hive-env.sh的环境 

配置hadoop的家目录，配置hive的家目录，已及配置hive配置文件的目录



配置hive-site.xml

<property>
<name>hive.metastore.local</name>
<value>true</value>
<description/>
</property>

<!--配置mysql-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.1.3:3306/hive</value>
<description/>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description/>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description/>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mysql</value>
<description/>
</property>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

注意，我用的是windows下的mysql，还有，将mysql的驱动jar包放在hive的lib下

启动hive，启动之前必须初始化数据库：我初始化的是mysql数据库

./schemaTool   --initSchema  --dbType mysql

1

启动hive

./hive

1



HDFS上面也有建好的数据表



启动spark，启动之前将mysql的驱动包，加入到spark的lib下



启动spark-shell



建表：



HDFS上面也有spark建好的数据表



Spark整合hive完毕

宁波注射除皱医院http://www.iyestar.com/wzx/zscz/