parquet压缩格式参数设置以及简单操作

Parquet 文件会在 gzip 中自动压缩，因为 Spark 变量 spark.sql.parquet.compression.codec 已在默认情况下设置为 gzip。您还可以将压缩编解码器设置为 uncompressed、snappy 或 lzo

object Save2Parquet {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("Save2Parquet").setMaster("local[2]")
// conf.set("spark.sql.parquet.compression.codec","uncompressed")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
// val DF = sqlContext.read.json("F:/03.hadoop/data/spark/sql/sqldf.json")
// DF.repartition(1)
// DF.write.parquet("F:/03.hadoop/data/a")
val DF = sqlContext.read.parquet("F:/03.hadoop/data/a/part-r-00000-7cb2b83b-9237-4e11-86a7-663eafa71fc7.gz.parquet")
DF.show()
sc.stop()
}
}