spark-sparkSQL
2014-11-06 11:33
89 查看
package com.spark.test import org.apache.spark.{ SparkConf, SparkContext } import org.apache.spark.sql.SQLContext case class Person(name: String, age: Int) extends java.io.Serializable object PeopleDao { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("People") val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) // import sqlContext._ import sqlContext.createSchemaRDD val people = sc.textFile("/ruson/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)) //1.1.0 method // people.registerTempTable("people") //1.0.0 method people.registerAsTable("people") val teenagers = sqlContext.sql("SELECT name FROM people WHERE age >= 13 AND age <= 19") teenagers.map(t => "Name: " + t(0)).collect().foreach(println) } }
用eclipse打成jar,上传people.txt文件到hdfs上的/ruson目录下
在shell下运行:
./bin/spark-submit \
--class com.spark.test.PeopleDao \
--master spark://datanode3:7077 \
--executor-memory 1G \
--total-executor-cores 4 \
/home/lixun/people.jar
相关文章推荐
- 小改Spark sql,提升spark响应时间
- 小改Spark sql,提升spark响应时间
- Spark SQL案例介绍与编程实现
- How-to: enable spark sql in cdh version spark
- Spark-1.0.0 SQL使用简介
- 一起学spark(11) -- Spark SQL 和 DataFrame 操作
- Spark SQL External Data Sources JDBC官方实现读测试
- Spark SQL 1.6.2官方文档中文版
- Spark SQL 与 Spark SQL on Hive 区别
- Spark-sql:以编程方式执行Spark SQL查询(通过反射的方式推断出Schema,通过StrutType直接指定Schema)
- Spark(Hive) SQL中UDF的使用(Python)
- 2.sparkSQL--DataFrames与RDDs的相互转换
- SparkSQL与Hive的应用关系
- 基于Spark的Hive编程中,“Error:(8, 37) java: 程序包org.apache.spark.sql.api.java不存在”的解决办法
- spark-sql-catalyst
- 基于Hive+sparkSQL的人力资源系统实例
- spark sql之访问 hive 和 MySQL
- Spark2.x学习笔记:15、Spark SQL的SQL
- spark-sql与elasticsearch整合&测试
- Spark-Sql源码解析之三 Analyzer:Unresolved logical plan –> analyzed logical plan