Python从数据库读取大量数据批量写入文件
2018-02-05 16:26
1111 查看
使用机器学习训练数据时,如果数据量较大可能我们不能够一次性将数据加载进内存,这时我们需要将数据进行预处理,分批次加载进内存。下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。
#%% import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb #数据库连接属性 hst = '188.10.34.18' usr = 'sa' passwd = 'p@ssw0rd' db = 'HistoryTrace' #总共多少数据 allData = 1674333 #每个批次多少条数据 dataOfEach = 20000 #批次 batch = ceil(allData/dataOfEach) #文件名 global IDctrl IDctrl = 1 filename = str(IDctrl)+'.txt' #连接数据库 conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db) cur=conn.cursor() while IDctrl<batch: #读取数据库 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\ FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) cur.execute(sql) rows=cur.fetchall() #写文件 f = open(filename,'w') f.writelines(str(rows)) #文件名加1 IDctrl+=1 filename = str(IDctrl)+'.txt' #关闭数据库连接 f.close() conn.close()
相关文章推荐
- vc2008: 控制台程序将数据写入MySql(数据库信息从配置文件读取)
- 笔记:读取sql文件,然后将数据批量插入数据库
- python 在excel文件中写入date日期数据,以及读取excel日期数据,如何在python中正确显示date日期。
- python-从文件读取json数据写到数据库
- ean13码的生成,python读取csv中数据并处理返回并写入到另一个csv文件中
- 自己编写的一个程序:读取XML格式的日志文件,并以一定的数据写入数据库中
- 使用Greendao进行批量添加数据(Android Studio读取assets下的数据库文件)
- python读取.txt文件数据和将数据写入文件.txt
- 【python图像处理】txt文件数据的读取与写入
- python3将csv文件中的两列数据读取出来,并且按行写入txt文本之中
- 利用spring batch 读取数据库中的数据写入到txt文件中
- 插入数据读取数据库写入到Text文件保存
- 如何通过JDBC向数据库写入/读取大数据文件?
- python Pandas 读取数据,写入文件
- 使用Apache POI创建Excel,并从数据库中读取数据写入到Excel文件中
- QX项目实战-3.读取数据、数据写入数据库、读出数据生成新文件
- 将oracle中blob数据写入文件,再把文件读取插入数据库
- 使用Apache POI创建Excel,并从数据库中读取数据写入到Excel文件中
- Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
- java读取Excel数据,然后写入到txt文件,并批量保存到oracle数据库中