分布式技术一周技术动态 2016.03.13

分布式系统实践

1. 基于mycat分布式数据库解决方案的学习汇总

http://mp.weixin.qq.com/s?__biz=MzI2MjA5MjUwMQ==&mid=402119084&idx=1&sn=43f59b6cf324e25715a8b415b28654ae&scene=2&srcid=0305P7aJcBTMn9NpnrBni8TJ&from=timeline&isappinstalled=0#wechat_redirect

要点: 众所周知, 当数据表到达一定规模之后, 必须进行分库分表, 然而分库分表势必对上层应用逻辑造成影响. 本文介绍了mycat这一款开源的分布式数据库中间件, 可以对上层应用屏蔽后台数据库分库分表的细节, 让后台数据库平滑的进行分库分表设计和实施.

2. 时序列数据库武斗大会之OpenTSDB篇

http://liubin.org/blog/2016/03/05/tsdb-opentsdb/#rd?sukey=16298ae1a3e33631eeec066d6d7d62a6985dc3b197f8b3f5720e48b0001e80583d69e419a25309009f76acb27d64562b

要点: OpenTSDB是一款开源的基于HBASE的TSDB. 本文介绍了OpenTSDB的架构和基本原理, 适合入门.

3. 缓存架构设计细节二三事

https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=404087915&idx=1&sn=075664193f334874a3fc87fd4f712ebc&scene=0&key=710a5d99946419d962779e18605912f3604aedb177cd52f5b80a084621e26b63683afb68e6f5327aa2bb8955c40cbaa0&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=8ZvuH9A53oDLlCmObXzwebOw9E6oHELI2fDR5kYE6yWWEksXZvS2QOvha9%2B85Llq

要点: 本文讨论了一个非常细致的问题, 当有数据更新请求时, 是先更新缓存, 还是先更新数据库呢? 更新缓存和更新数据库无法做成事务, 一定有一个先后顺序问题. 其实不仅仅是数据库, 比如内存和文件也有类似问题.

4. Kafka深度解析

http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/

要点: 这篇文章从设计原理到benchmark数据非常详细的对kafka进行了讲解, 是一篇学习kafka的好文章.

服务化和资源管理技术

1. Linux内核分析： OOM杀掉nginx后导致的系统hang问题

http://mogu.io/159-159?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 本文介绍了作者遇到的一个线上问题, 就是运行nginx的kvm虚拟机oom之后就hang住了, 不得不重启恢复. 经过作者的分析和定位, 确定是由于内核oom killer机制导致的, nginx不断fork出work进程, 而oom killer不断杀掉work进程, 从而造成了循环. 其实我们线上使用的supervise机制也有类似风险, 只不过我们的服务在刚刚启动的时候往往不会使用大量内存, 触发概率相对较小. 这个问题比较可行的办法可能就是要把进程组放到cgroup中去, 使用cgroup的oom killer了.

2. 如何构建一个融合Docker和虚拟化的云平台？

http://dockone.io/article/1095?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章笔者将照理想平台DCOS应该包括什么，现有四种开源解决方案的介绍和比较，以及我们如何构筑DCOS平台的思路来展开本文, 让大家高屋建瓴的思考理想DCOS应该如果构建.

3. Docker在乐视的实践之路

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=401853594&idx=1&sn=913c81b5de4f3adceef2b23a1af13482&scene=0&key=710a5d99946419d9dd95a2e3ed303e134d60c4922dbf54cf97ffd165b5fbed893a639109e05c4f12d7a82d707f415b2b&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=ueNGHjgU8zIVjm6X51Xk4%2B%2BI4EeTzlXBVGAWx2bqoQ0gFYYQQKAy0R1u2aWoenQs

要点: 这篇文章介绍了乐视应用docker的3个里程碑, 第一个里程碑相当于裸用docker, 直接给业务方暴露dockerfile等docker基础功能, 第二个里程碑实现了程序从发布到上线的全过程, 但是缺乏整体感, 系统拼凑感比较强, 功能也不完备, 第三个里程碑完成了一整套DevOps平台, 抛弃了Jenkins, 管理程序版本, 支持灰度上线, 支持负载均衡.

服务高可用技术

1. 美团线上真实流量压测工具构建

http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=404402191&idx=1&sn=2d0a082e1da027a3b7988857d097d4e9&scene=0#wechat_redirect

要点: 在线上进行压测一直是非常困难的工作, 一方面需要切空用户流量, 防止干扰, 一方面需要大量的数据统计和分析工作, 如果没有良好的工具支持, 整个过程是非常低效的. 这篇文章介绍了美团的自动化压测工具构建过程, 分为单机版本和分布式版本两个里程碑.

2. 性能测试的正确姿势

https://mp.weixin.qq.com/s?__biz=MzI4MjA4ODU0Ng==&mid=402578814&idx=1&sn=3c464a119de6e90e6e2976441ce8fb63&scene=0&key=710a5d99946419d9820efa8dc2e586b5a12c7deb791609637f95c52f16e7666a7ecb50425fd3ded0f5461818e3d72249&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=zSsZUfmGWBkfwvmdbH0Pbz8ArvXF6DJSOqvFUYBuUnWi5gWqT0lxx%2Ba2crGEd8um

要点: 本文回顾了作者之前基于各种脚本和excel进行性能测试的"旧时代", 然后简要介绍了基于各种"云测试"工具而带来的"新时代". 对比一下, 感觉我们的压测手段也仍然处于"旧时代", 虽然我们的服务部署在私有云上, 无法直接应用阿里云以及其他的云测试产品, 但是我们仍然可以借鉴那些云测试产品的思路, 期待基于"云测试"的思想让压测过程进入"新时代".

3. 排队论在架构的应用：对服务延迟、稳定性的影响

https://blog.eood.cn/queue-theory?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 服务接收和处理请求通常都能够按照排队论的理论进行建模, 这篇文章介绍了排队论的一个基本理论, 当服务负载大于80%的时候, 系统的容量会发生指数级下降, 并且介绍了几个控制系统负载的经典算法.

4. 网站性能测试指标，你真的看懂了？

https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=402847065&idx=1&sn=1d3ddaa5fc3523d552e416e0bbfd50d1&scene=0&key=710a5d99946419d998641c530e4bb6bdde66ff2a54454eaa7bf5296f9ff590145c0dff52db606124e0e0373d9630cb6b&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=8ZvuH9A53oDLlCmObXzwebOw9E6oHELI2fDR5kYE6yWWEksXZvS2QOvha9%2B85Llq

要点: 本文介绍了google的开源项目 WebPageTest 给出的网站性能指标的各个维度的含义, 可以帮助我们分析网站的性能数据和瓶颈, 大家可以试试我厂的首页和结果页.

DevOps 技术

1. Structured Logging 需要更好的基础设施支持

https://segmentfault.com/a/1190000004549379?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 结构化日志的收集和检索对于日常运维和数据分析来说至关重要, 本文作者认为目前基于ELK+kafka的基础设施效率还不够高, 并且提出了自己的优化方法.

2. Mark！DevOps开源工具的三种分类整理

https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=402702743&idx=1&sn=1c587a19d535298525fd0d6babbd9f9f&scene=0&key=710a5d99946419d90d1dec09237708f68c06cbbaf5f2529590c0c15e5e56dc1ff7eac6e4333488986200417c54ea12b4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=8ZvuH9A53oDLlCmObXzwebOw9E6oHELI2fDR5kYE6yWWEksXZvS2QOvha9%2B85Llq

要点: 本文按照开发, 测试, 运维3种分类整理了业界应用比较广泛的DevOps工具.

大杂烩

1. 使用setsockopt来控制connect超时

http://www.cnblogs.com/hfww/articles/2364516.html

要点: 一般控制connect超时都是采用nonblocking+poll的方法, 这篇文章介绍了直接使用connect函数控制连接超时的方法, 经过测试和阅读内核代码的比对, 方法有效, 大家可以尝试一下.

2. 美丽的数据——数据可视化与信息可视化浅谈

http://jdc.jd.com/archives/1333?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 我们在做数据分析的时候经常使用一些图表来说明问题, 然而数据图表的展现也是有技巧的.