Java 实现SparkSQL保存查询结果带有字段信息到(header)HDFS
2017-12-25 15:44
489 查看
public class SparkSQLJob { private static final Logger LOG = Logger.getLogger(SparkSQLJob.class); public static void main(String[] args) throws InterruptedException{ LOG.setLevel(Level.INFO); if (args == null || args.length < 2){ LOG.error("Please input the AppName, querySQL, savePath, LogPath parameters!"); return; } SparkSQLJob searchObj = new SparkSQLJob(); String querySQL = args[0]; String savePath = args[1]; searchObj.run(querySQL, savePath); } private void run(String querySQL, String savePath){ SparkSession spark = null; try{ spark = SparkSession .builder() .enableHiveSupport() .getOrCreate(); String applicationId = spark.sparkContext().applicationId(); LOG.info("applicationId = " + applicationId); LOG.info("spark sql = " + querySQL); LOG.info("Start Spark Job, data file will in " + savePath); spark.sql(querySQL).write().format(Constants.WRITE_FORMAT).option("header", true).save(savePath); LOG.info("Finished Spark Job, data file in " + savePath); }catch (Exception error){ LOG.error("Spark Job Error", error); return; }finally { try{ spark.close(); }catch (Exception error){ LOG.error("Spark Job Close Failed"); } } } }
相关文章推荐
- sql简单实现查询某个表字段名,是否主键,是否非空及备注信息
- SQL查询分组后结果中某字段按照条件相加的实现
- Java实现SparkSQL查询Hive表数据
- oracle查询所有所有的表结构及字段描述等信息并plsql保存查询结果
- JAVA_WEB项目之Lucene实现检索结果排序和关键字在索引库中多字段查询结果进行高亮显示
- 在使用Hibernate时,因为一个查询需要更多的表连接而要使用SQL来解决性能问题。然而返回的结果集中包含了没有映射的Entity类中的表字段,在这个SQL中还有使用如何将层次关系的父子结点显示为横行
- SQL2005 查询表字段信息(是否标示列 字段名 主键 字段类型 长度 小数位 允许空 默认值 说明)
- SQL查询所有表,字段名,主键,类型,长度,小数位数等信息【经典】
- 将嵌套查询结果的序号,保存到数据库的某个字段(用存储过程实现)
- 麻烦问一下单字段按查询结果精度返回结果,思路怎么做(除sql 的union合并)
- mysql 数据库字段为datetime类型时默认值为:0000-00-00 00:00:00 查询时异常 java.sql.SQLException:Value '0000-00-00' can not be represented as java.sq
- SQL 语句查询表字段信息,及字段备注
- java调用带有header信息的.net webService
- SQL数据库查询实现行转列与列转行结果SQL语句
- java cookie 实现用户账号信息本地保存
- SQL Cookbook:二、查询结果排序(2)按多个字段排序
- 查询SQL SERVER表的字段信息的SQL
- sql 将查询结果保存为新表
- sql server 查询表信息,字段,数据类型的sql语句
- 主流数据库之间对SQL:2003标准的不同实现方法比较(第四部分 查询结果集中间n行数据)