您的位置:首页 > 数据库 > MySQL

使用sparksql读取mysql中的数据

2016-04-26 21:14 633 查看

1.使用sparksql读取MySQL中的数据,读取整张表的时候,代码如下

val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)//10.0.190.102

var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db",
"driver" -> "com.mysql.jdbc.Driver",
"dbtable"->"temp",
"user"->"root","password"->"root")).load()


其中,dbtable后面的temp为表明,那么读取的就是整张表的数据,

2、使用sparksql读取MySQL的数据,但是sql为我们自定义的,代码如下

var jdbcDf=sqlContext.read.format("jdbc").options(Map("url"->"jdbc:mysql://10.10.190.102:3306/db",
"driver" -> "com.mysql.jdbc.Driver",
"dbtable"->"(select * from temp) as aaa",
"user"->"root","password"->"root")).load()

只要用你自定义的sql替换
select * from temp

即可,注意,括号必须要有, 后面的as aaa就是起一个别名,别名可以随便起
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark mysql scala