【Flume】Rpc sink XX closing Rpc client:NettyAvroRpcClient {xx} …… Failed to send events 问题解决
2015-05-30 19:10
645 查看
2015-05-12 11:27 239人阅读 评论(0) 收藏 举报
从以上截图信息,就可以看出问题了,服务端和客户端连接信息对不上,服务端有很多ESTABLISHED的连接,其实是无用的。这种情况,起初,我也很奇怪,没有发现原因,只能查看日志了。
通过日志信息,发现出现了异常,但是很奇怪,在异常信息之前,有一句Rpc sink {} closing Rpc client: {}
这里destroyConnection了,摧毁了一个连接,好端端的为什么会摧毁连接呢,从flume源码来看,flume自身不会出现这种低端的BUG吧,好端端,摧毁自己的连接干啥,所以从flume自身原因查了几天,也查不到所以然。
最终问了运维的同事,有防火墙时间限制,2小时
2小时,连接空闲,就断开连接
通过日志分析,发现基本出现异常的时候,距离上一次发送数据都是大于2小时,果然问题在这啊。
所以大家要注意,虽然这个问题,短时间可能对flume传送数据没什么影响,因为有数据来,发现没连接,会自动创建连接的,但是如果时间长了,连接会越来越多,对系统性能影响较大,所以延长防火墙的时间即可,不可能你的应用再24小时内还没有日志过来吧!
从以上截图信息,就可以看出问题了,服务端和客户端连接信息对不上,服务端有很多ESTABLISHED的连接,其实是无用的。这种情况,起初,我也很奇怪,没有发现原因,只能查看日志了。
通过日志信息,发现出现了异常,但是很奇怪,在异常信息之前,有一句Rpc sink {} closing Rpc client: {}
这里destroyConnection了,摧毁了一个连接,好端端的为什么会摧毁连接呢,从flume源码来看,flume自身不会出现这种低端的BUG吧,好端端,摧毁自己的连接干啥,所以从flume自身原因查了几天,也查不到所以然。
最终问了运维的同事,有防火墙时间限制,2小时
2小时,连接空闲,就断开连接
通过日志分析,发现基本出现异常的时候,距离上一次发送数据都是大于2小时,果然问题在这啊。
所以大家要注意,虽然这个问题,短时间可能对flume传送数据没什么影响,因为有数据来,发现没连接,会自动创建连接的,但是如果时间长了,连接会越来越多,对系统性能影响较大,所以延长防火墙的时间即可,不可能你的应用再24小时内还没有日志过来吧!
相关文章推荐
- Cuda kernel failed. Error: invalid device function
- 安装scikit-learn,win7 64位 (装了一下午,终于搞定了)解决ImportError: DLL load failed
- Contains Duplicate
- LeetCode217:Contains Duplicate
- reason:'CALayer position contains NaN: [160 nan]'
- POJ 1363 : Rail - 栈
- a Dll project without DllMain ?
- Agent admitted failure to sign using the key
- Aizu 2251 Merry Christmas(二分图最大匹配+Floyd)
- netstat监控大量ESTABLISHED连接与Time_Wait连接问题
- xCode模拟器出现installation failed invalid argument
- Leetcode_217_Contains Duplicate
- Lettcode_217_Contains Duplicate
- microsoft office 2016 preview 下载试用
- retain/assign/strong/weak/copy/mutablecopy/autorelease区别
- 217 Contains Duplicate
- Contains Duplicate II
- leetcode#70 Climbing Stairs
- LeetCode "Contains Duplicate II"
- [LeetCode] Contains Duplicate II 包含重复值之二