Mongo性能测试-python脚本

单线程

500+w条数据，插入时间：1小时，13分钟。

脚本：

[root@10 hurl]# cat insert-mongo2.py 

#!/usr/bin/env python

#coding=utf-8

import time,datetime

import pymongo

from pymongo import MongoClient

client = MongoClient('mongodb://test:test123@172.16.100.26:27019/test') 

db = client.test

#from pymongo import Connection

#connection = Connection('127.0.0.1', 27017)

#db = connection['test']

#时间记录器

def func_time(func):

    def _wrapper(*args,**kwargs):

        start = time.time()

        func(*args,**kwargs)

        print func.__name__,'run:',time.time()-start

    return _wrapper

@func_time

def insert(num):

    posts = db.userinfo

    for x in range(num):

        post = {"_id" : str(x),

            "author": str(x)+"Mike",

            "description1":"this is a very long description for " + str(x),

            "description2":"this is a very long description for " + str(x),

            "description3":"this is a very long description for " + str(x),

            "description4":"this is a very long description for " + str(x),

            "description5":"this is a very long description for " + str(x),

            "text": "My first blog post!",

            "tags": ["mongodb", "python", "pymongo"],

            "date": datetime.datetime.utcnow()}

        posts.insert_one(post)

        if x%100000 == 0:

            print "100000 !  --  %s"%(datetime.datetime.now())

if __name__ == "__main__":

#设定循环1000万次

    num = 10000000

    insert(num)

 

插入总数：

mongos> db.userinfo.count()

5033914

mongos> 

 

多进程并发：

测试脚本：

[root@10 hurl]# cat insert-mongo3.py 

#!/usr/bin/env python

#coding=utf-8

import multiprocessing,random,string  

import time,datetime

import pymongo

from pymongo import MongoClient

 

 

def gen_load(x,taskid): 

    client = MongoClient('mongodb://test:test123@172.16.100.26:27019/test') 

    db = client.test

    posts = db.userinfo2

    for x in range(1000000):

        post = {"_id" : str(x),

                "author": str(x)+"Mike",

                "text": "My first blog post!",

                "tags": ["mongodb", "python", "pymongo"],

                "date": datetime.datetime.utcnow()}

        posts.insert_one(post)

        if x%100000 == 0:

            print "100000 !  --  %s"%(datetime.datetime.now())

 

 

if __name__ == '__main__':

    inser_number=2500

    pro_pool = multiprocessing.Pool(processes=100) 

    print time.strftime('%Y-%m-%d:%H-%M-%S',time.localtime(time.time())) 

    start_time=time.time() 

    manager = multiprocessing.Manager() 

    for i in xrange(10): 

            taskid=i   

            pro_pool.apply_async(gen_load,args=(inser_number,taskid))  

    pro_pool.close() 

    pro_pool.join() 

    elapsed = time.time()-start_time 

    print elapsed 

    time.sleep(1) 

    print "Sub-process(es) done." 

10w条数据插入

100个线程，10w条数据，86秒

[root@10 hurl]# python insert-mongo3.py 

2015-12-08:13-54-53

10000 !  --  2015-12-08 13:54:53.822510

10000 !  --  2015-12-08 13:55:02.329206

10000 !  --  2015-12-08 13:55:10.624850

10000 !  --  2015-12-08 13:55:19.763308

10000 !  --  2015-12-08 13:55:28.384718

10000 !  --  2015-12-08 13:55:36.957917

10000 !  --  2015-12-08 13:55:45.426113

10000 !  --  2015-12-08 13:55:53.872843

10000 !  --  2015-12-08 13:56:02.898263

10000 !  --  2015-12-08 13:56:11.243706

86.4502689838

Sub-process(es) done.

 

100个进程：

[root@10 hurl]# ps -ef| grep python | wc -l

103

 

100w条数据：

100个线程，100w条数据，858秒：

[root@10 hurl]# python insert-mongo3.py 

2015-12-08:14-04-21

100000 !  --  2015-12-08 14:04:21.481368

100000 !  --  2015-12-08 14:05:43.069700

100000 !  --  2015-12-08 14:07:05.694774

100000 !  --  2015-12-08 14:08:28.375586

100000 !  --  2015-12-08 14:09:51.335589

100000 !  --  2015-12-08 14:11:18.619572

100000 !  --  2015-12-08 14:12:45.748144

100000 !  --  2015-12-08 14:14:12.534341

100000 !  --  2015-12-08 14:15:43.059457

100000 !  --  2015-12-08 14:17:11.387942

858.129628897

Sub-process(es) done.

[root@10 hurl]# 

 

 

查询：

在500w条数据中随机查询100w次，用时15秒。

[root@10 hurl]# python find-mongo2.py 

find 0 .

find 100000 .

find 200000 .

find 300000 .

find 400000 .

find 500000 .

find 600000 .

find 700000 .

find 800000 .

find 900000 .

mread run: 15.3293960094

[root@10 hurl]# 

 

脚本：

[root@10 hurl]# cat find-mongo2.py 

#!/usr/bin/env python

#coding=utf-8

import time,datetime

import random

import pymongo

from pymongo import MongoClient

client = MongoClient('mongodb://test:test123@172.16.100.26:27019/test') 

db = client.test

 

def func_time(func):

    def _wrapper(*args,**kwargs):

        start = time.time()

        func(*args,**kwargs)

        print func.__name__,'run:',time.time()-start

    return _wrapper

 

#@func_time

def randy():

    rand = random.randint(1,5000000)

    return rand

 

@func_time

def mread(num):

    find = db.userinfo

    for i in range(num):

        rand = randy()

        #随机数查询

        find.find({"author": str(rand)+"Mike"})

        if i%100000 == 0:

            print "find %s ."%i

 

if __name__ == "__main__":

    #设定循环100万次

    num = 1000000

    mread(num)

 

 

 

 

 

 

 

 

 

无索引Update

在500w数据中，无索引update100条数据，567秒：

[root@10 hurl]# python update-mongo2.py 

mread run: 567.210422993

[root@10 hurl]# 

 

脚本：

[root@10 hurl]# cat update-mongo2.py 

#!/usr/bin/env python

#coding=utf-8

import time,datetime

import random

import pymongo

from pymongo import MongoClient

client = MongoClient('mongodb://test:test123@172.16.100.26:27019/test') 

db = client.test

 

def func_time(func):

    def _wrapper(*args,**kwargs):

        start = time.time()

        func(*args,**kwargs)

        print func.__name__,'run:',time.time()-start

    return _wrapper

 

#@func_time

def randy():

    rand = random.randint(1,5000000)

    return rand

 

@func_time

def mread(num):

    update = db.userinfo

    for i in range(num):

        rand = randy()

        name = str(rand)+"Mike"

#随机数查询

        print "uodate %s  "%name

        update.update_one({"author": name},{"$set":{"text":"My second blog post!"}})

 

if __name__ == "__main__":

    #设定循环

    num = 100

    mread(num)

 

 

Create index

500w条数据，创建索引，用时70秒。

[root@10 hurl]# python index-mongo2.py 

insert run: 70.6546721458

 

脚本：

[root@10 hurl]# vi index-mongo2.py 

#!/usr/bin/env python

#coding=utf-8

import time,datetime

import pymongo

from pymongo import MongoClient

client = MongoClient('mongodb://test:test123@172.16.100.26:27019/test')

db = client.test

#时间记录器

def func_time(func):

    def _wrapper(*args,**kwargs):

        start = time.time()

        func(*args,**kwargs)

        print func.__name__,'run:',time.time()-start

    return _wrapper

@func_time

def createInx(num):

    posts = db.userinfo

    posts.create_index('author', unique=True)

if __name__ == "__main__":

    #设定循环

    num = 1

    createInx(num)

 

 

 

有索引Update

在500w数据中，有索引update100条数据，1.98秒：

[root@10 hurl]# python update-mongo2.py 

mread run: 1.98181605339

[root@10 hurl]# 

 

 

Delete

500w条数据，删除完成，使用时间：541.97秒。

[root@10 hurl]# python delete-mongo2.py 

count before remove: 5033914

count after remove: 0

insert run: 541.965857983

 

脚本：

[root@linux-00 sh]# python delete-mongo2.py

count before remove: 100000

count after remove: 0

remove run: 0.951205015182

[root@linux-00 sh]# cat delete-mongo2.py

#!/usr/bin/env python

import time,datetime

import pymongo

from pymongo import MongoClient

client = MongoClient('mongodb://localhost:27017/') 

db = client.test

def func_time(func):

    def _wrapper(*args,**kwargs):

        start = time.time()

        func(*args,**kwargs)

        print func.__name__,'run:',time.time()-start

    return _wrapper

@func_time

def remove():

    posts = db.userinfo

    print 'count before remove:',posts.count();

    posts.delete_many({});

    print 'count after remove:',posts.count();

if __name__ == "__main__":

    remove()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

总结：

	单进程	多进程	多进程	单进程
数据量	500w	10w	100w	500w
操作	insert	insert	insert	Find 100w次
用时	1小时13分钟	86秒	858秒	15秒
平均（条/秒）	1141.55	1162.79	1165.50	66666.67

 

 

注：我自己电脑上的虚拟机插入测试，单线程，10w条数据，用时30秒，平均3333条每秒

 

 

 

 

数据量	500w	500w	500w	500w
索引	无索引	有索引
操作	Update100条数据	Update100条数据	创建索引	delete
用时	567秒	1.98秒	70.65	541.97秒
平均（条/秒）	0.1764	50.51	70771.41	9225.60