用sqarkSQL往MySQL写入数据
2020-04-07 12:16
1681 查看
先设置表头,再写内容,内容得通过Row再转换成dataframe,再把内容与表头连接,再插入到MySQL中
#!/usr/bin/env python3 from pyspark.sql import Row from pyspark.sql.types import * from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession spark = SparkSession.builder.config(conf=SparkConf()).getOrCreate() schema=StructType([StructField("id",IntegerType(),True),\#true代表可以为空 StructField("name",StringType(),True),\ StructField("gender",StringType(),True),\ StructField("age",IntegerType,True]) studentRDD = spark.saprkContext.parallelize(["3 HuangYukai M 26"]).map(lambda x:x.split(" ")) rowRDD = studentRDD.map(lamda x:Row(int(x[0].strip()),x[1].strip[],x[2].strip().int(x[3].strip()))) studentDF = spark.createDataFrame(rowRDD,schema) prop={} prop['user']='hadoop' prop['password']='hadoop' prop['driver']= "com.mysql.jdbc.Driver" studentDF.write.jdbc("jdbc:mysql://localhost:3306/spark",'student','append',prop)
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 输出操作,结果保存到本地和输出到MySQL
- freecplus框架-MySQL数据库操作
- MySQL学习笔记(2)——索引
- mysql备份与还原
- MySQL 日志系统之 redo log 和 binlog
- 如何提高你的Mysql优化能力
- 提高mysql千万级数据SQL查询优化30条
- MySQL开启权限
- MySQL要点复习笔记
- MySQL性能测试--分区和分表测试
- MySQL数据库常用命令
- Mysql动态sql模糊查询日期
- 一文彻底读懂MySQL事务的四大隔离级别
- 【宇哥带你玩转MySQL】索引篇(一)索引揭秘,看他是如何让你的查询性能指数提升的
- MySQL 8.0来了,逆之者亡...
- mysql的十二条基本语句
- 修改本地MySQL的root身份密码
- mysql数据库备份
- MySQL修改表、字段字符集
- MySql数据库