spark-sql读取hive

Spark-1.3.1与Hive整合实现查询分析

操作步骤

1.我们可以通过指定SPARK_CLASSPATH变量，将需要访问Hive的元数据存储MySQL的驱动包加入进去，然后直接启动Spark SQL Shell即可。

SPARK_CLASSPATH="$SPARK_CLASSPATH:/app/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.38-bin.jar"

2.通过Spark Shell进行操作，不过需要了解Spark SQL支持的Scala API，启动Spark Shell，执行如下命令：

spark-shell --master local[1]

3.然后，创建一个org.apache.spark.sql.hive.HiveContext对象，用来执行Hive查询：

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("select imsi from test.test_weixin limit 2").collect().foreach(println)