[Spark][Python][RDD][DataFrame]从 RDD 构造 DataFrame 例子
2017-10-07 22:35
411 查看
[Spark][Python][RDD][DataFrame]从 RDD 构造 DataFrame 例子
from pyspark.sql.types import *
schema = StructType( [ StructField("age",IntegerType(),True),
StructField("name",StringType(),True),
StructField("pcode",StringType(),True) ] )
myrdd = sc.parallelize([(40,"Abram","01601"),(16,"Lucia","87501")])
mydf = sqlContext.createDataFrame(myrdd,schema)
mydf.limit(5).show()
from pyspark.sql.types import *
schema = StructType( [ StructField("age",IntegerType(),True),
StructField("name",StringType(),True),
StructField("pcode",StringType(),True) ] )
myrdd = sc.parallelize([(40,"Abram","01601"),(16,"Lucia","87501")])
mydf = sqlContext.createDataFrame(myrdd,schema)
mydf.limit(5).show()
+---+-----+-----+ |age| name|pcode| +---+-----+-----+ | 40|Abram|01601| | 16|Lucia|87501| +---+-----+-----+
相关文章推荐
- [Spark][Python][DataFrame][RDD]DataFrame中抽取RDD例子
- [Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子
- [Spark][Python]RDD flatMap 操作例子
- [Spark][Python][DataFrame][Write]DataFrame写入的例子
- [Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子
- [Spark][Python]DataFrame的左右连接例子
- Spark(Python) 从内存中建立 RDD 的例子
- [Spark][Python]spark 从 avro 文件获取 Dataframe 的例子
- [Spark][python]以DataFrame方式打开Json文件的例子
- [Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子:
- spark 中rdd与dataframe的合并
- spark中RDD、DataFrame创建及互相转换
- 3.Spark SQL:使用反射方式、编程方式,将RDD转换为DataFrame
- [Spark][Python][Application]非交互式运行Spark Application 的例子
- [Spark][Python]DataFrame中取出有限个记录的例子
- [Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
- spark sql定义RDD、DataFrame与DataSet
- Spark核心API发展史:RDD、DataFrame、DataSet
- spark基础之RDD和DataFrame的转换方式
- 3.Spark SQL:使用反射方式、编程方式,将RDD转换为DataFrame