python测试mysql写入性能完整实例
2018-01-18 10:13
1176 查看
本文主要研究的是python测试mysql写入性能,分享了一则完整代码,具体介绍如下。
测试环境:
(1) 阿里云服务器centos 6.5
(2) 2G内存
(3) 普通硬盘
(4) mysql 5.1.73 数据库存储引擎为 InnoDB
(5) python 2.7
(6) 客户端模块 mysql.connector
测试方法:
(1) 普通写入
(2) 批量写入
(3) 事务加批量写入
普通写入:
def ordinary_insert(count): sql = "insert into stu(name,age,class)values('test mysql insert',30,8)" for i in range(count): cur.execute(sql)
批量写入,每次批量写入20条数据
def many_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): cur.executemany(sql, stus)
事务加批量写入,每次批量写入20条数据,每20个批量写入作为一次事务提交
def transaction_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" insert_lst = [] loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): insert_lst.append((sql,stus)) if len(insert_lst) == 20: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit() print '0k' insert_lst = [] if len(insert_lst) > 0: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit()
实验结果如下
数量 普通写入 many写入 事务加many写入 1万 26.7s 1.7s 0.5s 10万 266s 19s 5s 100万 2553s 165s 49s
批量写入,相比于普通的多次写入,减少了网络传输次数,因而写入速度加快。
不论是单次写入还是批量写入,数据库内部都要开启一个事务以保证写入动作的完整,如果在应用层,我们自己开启事物,那么就可以避免每一次写入数据库自己都开启事务的开销,从而提升写入速度。
事务加批量写入速度大概是批量写入速度的3倍,是普通写入的50倍。
完整的测试代码如下:
#coding=utf-8 ''''' 采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致 采用批量写入时,由于减少了网络传输的次数因而速度加快 开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性 如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间 从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍 数量 普通写入 many写入 事务加many写入 1万 26.7s 1.7s 0.5s 10万 266s 19s 5s 100万 2553s 165s 49s 将autocommit设置为true,执行insert时会直接写入数据库,否则在execute 插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度 此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB 则支持事务 ''' import time import sys import mysql.connector reload(sys) sys.setdefaultencoding('utf-8') config = { 'host': '127.0.0.1', 'port': 3306, 'database': 'testsql', 'user': 'root', 'password': 'sheng', 'charset': 'utf8', 'use_unicode': True, 'get_warnings': True, 'autocommit':True } conn = mysql.connector.connect(**config) cur = conn.cursor() def time_me(fn): def _wrapper(*args, **kwargs): start = time.time() fn(*args, **kwargs) seconds = time.time() - start print u"{func}函数每{count}条数数据写入耗时{sec}秒".format(func = fn.func_name,count=args[0],sec=seconds) return _wrapper #普通写入 @time_me def ordinary_insert(count): sql = "insert into stu(name,age,class)values('test mysql insert',30,8)" for i in range(count): cur.execute(sql) #批量 @time_me def many_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): cur.executemany(sql, stus) #事务加批量 @time_me def transaction_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" insert_lst = [] loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): insert_lst.append((sql,stus)) if len(insert_lst) == 20: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit() print '0k' insert_lst = [] if len(insert_lst) > 0: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit() def test_insert(count): ordinary_insert(count) many_insert(count) transaction_insert(count) if __name__ == '__main__': if len(sys.argv) == 2: loop = int(sys.argv[1]) test_insert(loop) else: print u'参数错误'
总结
以上就是本文关于python测试mysql写入性能完整实例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!
您可能感兴趣的文章:
相关文章推荐
- python 测试mysql写入性能
- Java、PHP、Python与MySQL交互的性能测试
- 【沉淀】实例迁移、Insert和写入性能——数倍_甚至数十倍提升_HybridDB for MySQL负责人王骞谈自己经历和收获
- Numa对MySQL多实例性能测试报告
- Python测试用例生成脚本(合并相应单元格以及写入单行数据)代码实例
- Python测试用例生成脚本(合并相应单元格以及写入单行数据)代码实例
- 【python】解析Excel中使用xlrd库、xlwt库操作,写入excel进阶完整脚本实例(五)
- 分布式任务分发框架Gearman测试、性能监控、队列持久化【python 实例】
- python性能测试,用实例告诉你phthonic的意义!
- MySQL性能测试工具MySQLslap使用实例详解
- Java、PHP、Python与MySQL交互的性能测试
- MySQL Index Condition Pushdown(ICP)性能优化方法实例
- MySQL Connector/Python 安装、测试
- mysql性能测试工具之sysbench
- Python对excel写入数据操作实例代码(改进无法合并最后一组数据的问题)
- 实例解析MySQL性能瓶颈排查定位
- Python连接MySQL的实例代码
- MySQL性能测试--分区和分表测试
- MySQL基于MyISAM引擎和InnoDB引擎性能测试对比
- 性能测试平台效率优化的一次经验(python版)