您的位置:首页 > 数据库

SparkSQL之数据源

2015-10-07 18:40 337 查看
准备json文件:

cat /root/1.json
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}


可以尝试传统方法:

val people = sqlContext.read.json("file:///root/1.json");
people.printSchema();
people.registerTempTable("people3");


这是DataFrame的定义方法。

下面可以定义成数据源:

CREATE TABLE persons
USING org.apache.spark.sql.json
OPTIONS (
path 'file:///root/1.json'
);


这个时候可以 spark-sql:

spark-sql> select * from persons;
NULL    Michael
30  Andy
19  Justin
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: