python提取百万数据到csv文件
2014-12-24 16:09
351 查看
转自:http://www.2cto.com/kf/201311/258112.html
今天有需求,需要把系统所有用户注册的id和邮箱等信息导出来提供给他们,在mysql里面count了下,大概有350万左右
就尝试了下用python实现,顺带练习下python写csv的功能,本来想用工具的,但想了下速度会很慢,
整个导出过程大概就3分钟左右,还是蛮快的,毕竟有三百多万,导完后有150M左右
下面是我的脚本deal_csv.py,由于需要连接mysql数据库,脚本依赖MySQLdb模块
?
def main():
p = Handle()
p._do()
p._release_db()
if __name__=="__main__":
main()
csv文件结构如下图
今天有需求,需要把系统所有用户注册的id和邮箱等信息导出来提供给他们,在mysql里面count了下,大概有350万左右
就尝试了下用python实现,顺带练习下python写csv的功能,本来想用工具的,但想了下速度会很慢,
整个导出过程大概就3分钟左右,还是蛮快的,毕竟有三百多万,导完后有150M左右
下面是我的脚本deal_csv.py,由于需要连接mysql数据库,脚本依赖MySQLdb模块
?
p = Handle()
p._do()
p._release_db()
if __name__=="__main__":
main()
csv文件结构如下图
相关文章推荐
- python解析csv文件 提取数据
- Python 正则表达式从CSV文件提取特定列
- Python使用cx_Oracle模块将oracle中数据导出到csv文件的方法
- python数据分析之(4)读写数据文件CSV,EXCEL等
- Python开发【模块】:CSV文件 数据可视化
- Python提取MySQL数据为EXCEL文件后邮件发送
- python读取csv大数据文件到mysql数据库中(ubunu14.04下)
- ean13码的生成,python读取csv中数据并处理返回并写入到另一个csv文件中
- Python抓取CSV文件中数据【V2】
- python实现提取数据并保存在csv中
- python 读取.csv文件数据到数组(矩阵)
- Python导出数据到Excel可读取的CSV文件的方法
- 使用python读取csv文件,并将数据更新至mysql
- python/机器学习:读写机器学习中常用的.CSV数据文件t
- python:pandas合并csv文件(图书数据集成)
- java将float数据写入csv 并在python中读取csv文件
- Python使用cx_Oracle模块将oracle中数据导出到csv文件的方法
- [数据科学] 从csv, xls文件中提取数据
- python数据分析-处理CSV/EXCEL表格文件
- Python数据处理-将数据保存为txt、csv等文件格式方法