将TXT文件数据存进Python内置数据库splite3
2017-04-26 08:16
323 查看
当TXT文件太大,计算机内存不够时,我们可以选择按行读取TXT文件,并将其存储进Python内置轻量级splite数据库,这样可以加快数据的读取速度,当我们需要重复读取数据时,这样的速度加快所带来的时间节省是非常可观的,比如,当我们在训练数据时,要迭代10万次,即要从文件中读取10万次,即使每次只加快0.1秒,那么也能节省几个小时的时间了。
#创建数据库并把txt文件的数据存进数据库
import sqlite3 #导入sqlite3
cx = sqlite3.connect('./train.db') #创建数据库,如果数据库已经存在,则链接数据库;如果数据库不存在,则先创建数据库,再链接该数据库。
cu = cx.cursor() #定义一个游标,以便获得查询对象。
cu.execute('create table if not exists train4 (id integer primary key,name text)') #创建表
fr = open('data_sample.txt') #打开要读取的txt文件
i = 0
for line in fr.readlines(): #将数据按行插入数据库的表train4中。
cu.execute('insert into train4 values(?,?)',(i,line))
i +=1
cu.close() #关闭游标
cx.commit() #事务提交
cx.close() #关闭数据库查询数据:
cu.execute('select * from train4 where id = ?',(i,)) #i代表你要读取表train4中某一行的数据
result = cu.fetchall()PS:如果前面已经关闭了数据库,那么在查询时要重新打开数据库,并创建游标。这一点要注意一下。
完整的查询程序是这样的:
import sqlite3
cx = sqlite3.connect('./train.db')
cu = cx.cursor()
for i in range(5):
cu.execute('select * from train4 where id = ?',(i,))
result = cu.fetchall()
cx.commit()
cu.close()
cx.close()
#创建数据库并把txt文件的数据存进数据库
import sqlite3 #导入sqlite3
cx = sqlite3.connect('./train.db') #创建数据库,如果数据库已经存在,则链接数据库;如果数据库不存在,则先创建数据库,再链接该数据库。
cu = cx.cursor() #定义一个游标,以便获得查询对象。
cu.execute('create table if not exists train4 (id integer primary key,name text)') #创建表
fr = open('data_sample.txt') #打开要读取的txt文件
i = 0
for line in fr.readlines(): #将数据按行插入数据库的表train4中。
cu.execute('insert into train4 values(?,?)',(i,line))
i +=1
cu.close() #关闭游标
cx.commit() #事务提交
cx.close() #关闭数据库查询数据:
cu.execute('select * from train4 where id = ?',(i,)) #i代表你要读取表train4中某一行的数据
result = cu.fetchall()PS:如果前面已经关闭了数据库,那么在查询时要重新打开数据库,并创建游标。这一点要注意一下。
完整的查询程序是这样的:
import sqlite3
cx = sqlite3.connect('./train.db')
cu = cx.cursor()
for i in range(5):
cu.execute('select * from train4 where id = ?',(i,))
result = cu.fetchall()
cx.commit()
cu.close()
cx.close()
相关文章推荐
- Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
- java从数据库导数据生成txt文件的中文编码问题
- 利用存储过程读指定文件夹里所有txt文件,将数据插入数据库中
- Python--使用xlwt将列表类型的数据写到Excel xls文件中--TxtToExcel
- Python爬取某贴吧第一页的所有帖子的标题、连接、作者,将数据储存到txt文件中
- php将txt文件数据导入数据库
- asp.net从数据库导出数据到word、excel、txt文本文件
- python : 将txt文件中的数据读为numpy数组或列表
- Oracle txt文件直接使用sqldlr将数据导入到数据库表中
- SQLite3创建数据库的方法 和 SQLite从Excel文件中导入数据 及 python/qpython sqlite 中文 乱码
- asp.net从数据库导出数据到word、excel、txt文本文件
- 一步一步导入TXT文件数据到数据库
- Python--将 txt文件里的-字典类型-的数据写到Excel中--xlwt--TxtToExcel
- 数据从.txt文件中导入数据库
- 存储过程将.txt.xls文件数据导入数据库表格
- SQL 数据的导入导出,对远程(MSsql,OracleAccess,)数据库的操作以及读取Excel,txt文件中的数据
- 利用存储过程数据库中的数据生成txt文件
- SQL C# nvarchar类型转换为int类型 多表查询的问题,查询结果到新表,TXT数据读取到控件和数据库,生成在控件中的数据如何存到TXT文件中
- 通过Load table命令将数据文件加载到Sybase IQ数据库里面的Python脚本
- Python从txt文件中逐行读取数据