您的位置:首页 > 其它

历时三个月的反反复复测试,延云YDB版本v1.1.6正式发布

2017-02-04 13:52 393 查看
V1.1.6版本在软件功能上的变化较少,更多的改动主要集中在数据准确性、稳定性与持续性上的测试。准确性上我们编写了1000多项用例,几千种测试SQL,进行了数千万次的循环比对。在持续性上我们做了多次300并发,持续20天以上的持续性压测,也解决了不少的BUG以及高并发问题。在稳定性上,我们更是添加了守护进行监控,如果因BUG等导致的关键服务异常,可以由守护进程发现,并自动恢复服务。

本版本release内容如下:
一、修正大量spark内存泄露的BUG,从而提升YDB的稳定性

      修正的内容如下:http://blog.csdn.net/qq_33160722/article/details/54092560
二、优化spark源码,提升spark的响应速度,从而提升YDB的响应速度

      优化点如下:http://blog.csdn.net/qq_33160722/article/details/54693063
三、修改Spark源码,彻底解决由于Spark 的Clean导致的spark不能持续性的进行大并发查询的问题

     解决方法如下:http://blog.csdn.net/qq_33160722/article/details/54893760
四、添加mdrill适配

     默认配置所有的SQL查询均是通过spark SQL进行查询,但是由于SPARK本身的框架很重,每次任务调度都会有200~300毫秒的调度时间,对于简单查询来说,我们可以将简单查询的SQL通过轻量级的mdrill接口进行访问,而不通过SPARK SQL进行调度,从而在调度上节省时间。

     改动后,原先600~800ms的SQL,现在查询时间为60~80ms。

     该功能开启方式,请参考 YDB编程指南第七章的第十一节“通过mdrill提升简单查询的查询速度”。
五、添加守护进程, 监控重要服务,Down掉会自动重启,并记录日志

      driver的jdbc端口,web ui端口,Java进程的 gc 是否长期95%,slave节点是否长期启动不完整。
六、新增block sort排序

      通过block sort排序,可以在秒级内对百亿级别的数据进行排序,对于按照时间的日志检索系统来说,是必备功能。

      具体性能指标与测试演示视频,请参考如下两篇文章

      1.YDB与spark SQL在百亿级数据上的性能对比测试  http://blog.csdn.net/qq_33160722/article/details/54447022
      2.如何只用4台虚拟机搞定500G共300亿条数据的秒级排序 http://blog.csdn.net/qq_33160722/article/details/54834896 七、YDB针对范围查找,我们重写了lucene的查找逻辑,从而提升范围查找的性能

       详细描述,请参考如下地址 http://blog.csdn.net/qq_33160722/article/details/54782969 八、大幅提升YDB易用性

     通过/*ydb.pushdown('->')*/与/*('<-')pushdown.ydb*/ 改进了之前YDB查询需要写数组下标的情况,大幅简化SQL拼写的难度
九、迄今为止,YDB最完善的文档,《YDB编程指南》正式发布

      腾讯微云下载:http://url.cn/42R4CG8

      github下载:https://github.com/ycloudnet/ydb
十、与AMBARI无缝集成

     YDB可以内嵌到AMBARI里面进行图形化页面的部署与维护
十一、其他小功能

        近似文本匹配与近似特征匹配功能的添加

        多值列的支持

       考虑单词顺序的文本匹配功能的添加

        物理删除接口的SQL支持

        基于geohash的地理位置检索的支持

        kafka消费监控添加 消费速度与进度的监控

       添加show tables与show partions 功能
十二,BUG修正

        修正HDFS短暂不可用的情况下的,索引合并的重试BUG

        <=与< 的条件写反了,>=与>的条件写反了

       反复kill发现spark有的时候分配任务有BUG,导致一个已经死掉的execid存在,添加ping功能识别已经死掉的进程。

如何获取1.1.6稳定版本

YDB的1.1.6稳定版包括ydb本身以及YDB提供的spark两部分,可以从腾讯微云下载 http://url.cn/42R4CG8


如何升级到1.1.6版本

      请参考《YDB编程指南》的第九章YDB运维 中的第一节,YDB升级 (180页)
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: