golang mgo的mongo连接池设置:必须手动加上maxPoolSize
2016-03-25 11:17
821 查看
本司礼物系统使用了golang的 mongo库 mgo,中间踩了一些坑,总结下避免大家再踩坑
golang的mgo库说明里是说明了开启连接复用的,但观察实验发现,这并没有根本实现连接的控制,连接复用仅在有空闲连接时生效,高并发时无可用连接会不断创建新连接,所以最终还是需要程序员自行去限制最大连接才行。
废话不多说,开始上代码
golang main入口启动时,我们会创建一个全局session,然后每次使用时clone session的信息和连接,用于本次请求,使用后调用session.Close() 释放连接。
Clone的方法注释里说明会重用原始session的socket连接,但是并发请求一大,其他协程来不及释放连接,当前协程会怎么办?
在源码中加debug,结果日志说明一切:
不断的创建连接 AcquireSocket
$ netstat -nat|grep -i 27017|wc -l
400
如果每个session 不调用close,会达到恐怖的4096,并堵死其他请求,所以clone或copy session时一定要defer close掉
启用maxPoolLimit 参数则会限制总连接大小,连接到限制则当前协程会sleep等待 直到可以创建连接,高并发时锁有问题,会导致多创建几个连接
连接池设置方法:
1、配置中 增加
[host]:[port]?maxPoolSize=10
2、代码中 :
dao.GlobalMgoSession.SetPoolLimit(10)
再做压测:
$ netstat -nat|grep -i 27017|wc -l
15
结论:
每次clone session之后,操作结束时如果调用 session.Close 则会unset Socket ,socket refer数减少,如果不设置上限,每个协程请求到来发现无空闲连接就会创建socket连接,直到达到最大值4096,而mongo的连接数上限一般也就是1万,也就是一个端口你只能启动一两个进程保证连接不被撑爆,过多的连接数客户端效率不高,server端更会耗费内存和CPU,所以需要启用自定义连接池 , 启用连接池也需要注意如果有pooMaxLimit个协程执行过长或者死循环不释放socket连接,也会悲剧。
mgo底层socket连接池只在maxPooMaxLimit 范围内实现复用,需要自行优化。
golang的mgo库说明里是说明了开启连接复用的,但观察实验发现,这并没有根本实现连接的控制,连接复用仅在有空闲连接时生效,高并发时无可用连接会不断创建新连接,所以最终还是需要程序员自行去限制最大连接才行。
废话不多说,开始上代码
$ netstat -nat|grep -i 27017|wc -l
400
如果每个session 不调用close,会达到恐怖的4096,并堵死其他请求,所以clone或copy session时一定要defer close掉
启用maxPoolLimit 参数则会限制总连接大小,连接到限制则当前协程会sleep等待 直到可以创建连接,高并发时锁有问题,会导致多创建几个连接
1、配置中 增加
[host]:[port]?maxPoolSize=10
2、代码中 :
dao.GlobalMgoSession.SetPoolLimit(10)
再做压测:
$ netstat -nat|grep -i 27017|wc -l
15
结论:
每次clone session之后,操作结束时如果调用 session.Close 则会unset Socket ,socket refer数减少,如果不设置上限,每个协程请求到来发现无空闲连接就会创建socket连接,直到达到最大值4096,而mongo的连接数上限一般也就是1万,也就是一个端口你只能启动一两个进程保证连接不被撑爆,过多的连接数客户端效率不高,server端更会耗费内存和CPU,所以需要启用自定义连接池 , 启用连接池也需要注意如果有pooMaxLimit个协程执行过长或者死循环不释放socket连接,也会悲剧。
mgo底层socket连接池只在maxPooMaxLimit 范围内实现复用,需要自行优化。
相关文章推荐
- django 实例
- 第8课 goto 和 void 分析
- dango foreign key 指定被引用模型的字段
- HDU 4362 Dragon Ball 线段树
- Algorithms---排序之桶排序
- HDU 1847 Good Luck in CET-4 Everybody! (博弈论sg)
- google/dense_hash_map
- kernel logo 更换
- VIEWGOOD(远古)教育行业直播资源共享
- django入门记录 1
- 适用于 Mac OS 的 Paragon 驱动程序 | Seagate
- 学习go语言的第四天
- MY GOAL
- Google推荐的图片加载库Glide介绍
- Data Structure and Algorithm
- django xadmin 模板的定制
- Mongo的安全验证
- 算法基础:最大递减数问题(Golang实现)
- LeetCode Algorithms #101 <Symmetric Tree>
- zygote启动过程分析