Python从数据库读取大量数据批量写入文件的方法
2018-12-26 00:02
1196 查看
使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。
下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。
#%% import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb #数据库连接属性 hst = '188.10.34.18' usr = 'sa' passwd = 'p@ssw0rd' db = 'HistoryTrace' #总共多少数据 allData = 1674333 #每个批次多少条数据 dataOfEach = 20000 #批次 batch = ceil(allData/dataOfEach) #文件名 global IDctrl IDctrl = 1 filename = str(IDctrl)+'.txt' #连接数据库 conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db) cur=conn.cursor() while IDctrl<batch: #读取数据库 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\ FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) cur.execute(sql) rows=cur.fetchall() #写文件 f = open(filename,'w') f.writelines(str(rows)) #文件名加1 IDctrl+=1 filename = str(IDctrl)+'.txt' #关闭数据库连接 f.close() conn.close()
以上这篇Python从数据库读取大量数据批量写入文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- Python从数据库读取大量数据批量写入文件
- Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
- POI读取excel2007文件的数据,插入数据库的使用方法【经验之谈】
- asp.net(c#)如何读取上传过程中的.txt文件中的数据,并将其写入数据库的
- python读取excel指定列数据并写入到新的excel方法
- python从oracle读取数据写入到文件里
- Python Pandas批量读取csv文件到dataframe的方法
- 将oracle中blob数据写入文件,再把文件读取插入数据库
- 用C#编程从数据库中读取图片数据导进Excel文件的方法
- hadoop超时解决办法context.progress()的作用 假设在map()方法中,你有一个从数据库读取大量数据的操作,是用一个循环来完成的,并且,在读完全部的数据之前,你不会有任何的数据输出
- python 在excel文件中写入date日期数据,以及读取excel日期数据,如何在python中正确显示date日期。
- php从memcache读取数据再批量写入mysql的方法
- python-从文件读取json数据写到数据库
- python利用pymysql读取Navicat转储的sql文件并恢复数据库的数据
- C#逐行分元素读取记事本数据并写入数据库的方法
- Python基于csv模块实现读取与写入csv数据的方法
- [转]DataTable的数据批量写入数据库三种方法比较
- php从memcache读取数据再批量写入mysql的方法
- postgresql备份恢复数据库和批量导入导出数据到文件方法
- 使用Greendao进行批量添加数据(Android Studio读取assets下的数据库文件)