SparkSQL DataFrame常用操作（一）

DSL风格语法

DataFrame提供了一个领域特定语言(DSL)以方便操作结构化数据。下面是一些使用示例

1、查看DataFrame中的内容，通过调用show方法

personDF.show

2、查看DataFrame部分列中的内容

查看name字段的数据

personDF.select(personDF.col("name")).show

查看name字段的另一种写法

personDF.select("name").show

查看 name 和age字段数据

personDF.select(col("name"), col("age")).show

3、打印DataFrame的Schema信息

personDF.printSchema

4、查询所有的name和age，并将age+1

personDF.select(col("id"), col("name"), col("age") + 1).show

也可以这样：

personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show

5、过滤age大于等于25的

使用filter方法过滤

personDF.filter(col("age") >= 25).show

6、统计年龄大于30的人数

personDF.filter(col("age")>30).count()

7、按年龄进行分组并统计相同年龄的人数

personDF.groupBy("age").count().show

喜欢就点赞评论+关注吧



感谢阅读，希望能帮助到大家，谢谢大家的支持！