使用sparksql读取mysql中的数据
2016-04-26 21:14
633 查看
1.使用sparksql读取MySQL中的数据,读取整张表的时候,代码如下
val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local") val sc=new SparkContext(conf) val sqlContext=new SQLContext(sc)//10.0.190.102 var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db", "driver" -> "com.mysql.jdbc.Driver", "dbtable"->"temp", "user"->"root","password"->"root")).load()
其中,dbtable后面的temp为表明,那么读取的就是整张表的数据,
2、使用sparksql读取MySQL的数据,但是sql为我们自定义的,代码如下
var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db", "driver" -> "com.mysql.jdbc.Driver", "dbtable"->"(select * from temp) as aaa", "user"->"root","password"->"root")).load()
只要用你自定义的sql替换
select * from temp
即可,注意,括号必须要有, 后面的as aaa就是起一个别名,别名可以随便起
相关文章推荐
- MySQL中的integer 数据类型
- MySQL存储过程
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- mysql中int、bigint、smallint 和 tinyint的区别与长度
- mysql load data 导出、导入 csv
- source命令执行SQL脚本文件
- MySQL创建用户及权限控制
- MySQL管理数据表
- linux下mysql添加用户
- mysql procedure
- mysql触发器
- Windows下Scala环境搭建
- MySQL 备份和恢复策略
- Spark随谈——开发指南(译)
- mac下安装mysql(转载)
- mysql 修改编码 Linux/Mac/Unix/通用(杜绝修改后无法启动的情况!)
- MySQL数据的导出、导入(mysql内部命令:mysqldump、mysql)
- mysql数据行转列