sparkSQL 集成hive异常问题解决

1、报：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

是由于元数据默认到derby中找，所以提供mysql的

解决：在spark-env.sh文件中添加：export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/master/platform/hive-0.12.0-cdh5.1.0/lib/mysql-connector-java-5.1.31-bin.jar

2、报：15/06/15 16:33:48 ERROR [ZooKeeperHiveLockManager(545) -- main]: conflicting lock present for default mode EXCLUSIVE

a. 由于hive的版本比较低，解决方法升级hive或者在spark-env.sh文件添加,指定udf路径，

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/master/platform/hive-0.12.0-cdh5.1.0/lib/mysql-connector-java-5.1.31-bin.jar:/home/master/platform/auxlib/HiveUDF.jar

export HIVE_CONF_DIR=/home/master/conf/hadoop/spark

b. 在原来hive的conf目录下copy一份.hiverc文件并修改.hiverc为以下内容，然后copy到spark指定的hive目录（/home/master/conf/hadoop/spark）

set hive.support.concurrency=false;
CREATE TEMPORARY FUNCTION get_url_map as 'com.test.htools.udf.ParseLOG';
set hive.support.concurrency=true;