python3多进程，单线程，网络请求密集型操作速度对比

from multiprocessing import Pool
import requests
from requests.exceptions import ConnectionError
import time
 
def scrape(url):
    try:
        print(requests.get(url))
    except ConnectionError:
        print('Error Occured ', url)
    finally:
        print('URL ', url, ' Scraped')
 
 
if __name__ == '__main__':
    start = time.time()
    pool = Pool(3)
    urls = [
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/',
        'https://www.baidu.com',
        'http://www.meituan.com/',
        'http://blog.csdn.net/'
    ]
    pool.map(scrape, urls)
    print(time.time()-start)

import requests
from requests.exceptions import ConnectionError
import time

def scrape(url):
try:
print(requests.get(url))
except ConnectionError:
print('Error Occured ', url)
finally:
print('URL ', url, ' Scraped')

if __name__ == '__main__':
start = time.time()
urls = [
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/',
'https://www.baidu.com',
'http://www.meituan.com/',
'http://blog.csdn.net/'
]
for url in urls:
scrape(url)
print(time.time()-start)