第129课:Spark streaming源码经典解读系统之四:GobGenerator工作内幕源码解密
2016-06-23 20:38
417 查看
第129课:Spark streaming源码经典解读系统之四:GobGenerator工作内幕源码解密
接受半条数据怎么处理?上面batch有半条数据
不可能在batch duration处理半条数据
上一个batch100 处理了95
下一个batch80 处理了85
synchronized 同步块 allocatedBlockstoBatch
A receiver
B receiveimpl
C recievtracker 绝定进哪个batch 什么时候有锁了,什么时候进batch,获得锁的那一刻决定的
因此半条数据是假的
不可能是
上一个batch100 处理了99
下一个batch80 处理了99
接受半条数据怎么处理?上面batch有半条数据
不可能在batch duration处理半条数据
上一个batch100 处理了95
下一个batch80 处理了85
synchronized 同步块 allocatedBlockstoBatch
A receiver
B receiveimpl
C recievtracker 绝定进哪个batch 什么时候有锁了,什么时候进batch,获得锁的那一刻决定的
因此半条数据是假的
不可能是
上一个batch100 处理了99
下一个batch80 处理了99
相关文章推荐
- Golang之chan/goroutine
- ZOJ 3492 F - Kagome Kagome
- Anti-Goldbach's Conjecture
- mongo 查找附近点
- Django的模板目录设置
- Mac下搭建GO环境
- hdu 1824 Let's go home【2-SAT------强连通Tarjan】
- Django 用户 权限 组 机制
- GoldenGate Studio 12.2.1.1发布
- go语言文件接收
- Google 的开源技术protobuf 简介与例子
- 二分与贪心-Gone Fishing(算法基础 第9周)
- 2-Go语言安装
- Google Gson 使用简介
- 75. Sort Colors --- one-pass algorithm --- leetcode算法笔记
- mac os + sublime text3 搭建 golang 环境
- 对角矩阵(diagonal matrix)
- WebP官方翻译==Google推出新的图片格式WebP
- Django 模板过滤器列表
- Go-MySQL-Driver:一个Go语言的轻量级极速的mysql驱动