大数据开源技术的现状及发展趋势

在“互联网+”政策的推动下，大数据产业发展得越来越兴盛。其核心——大数据技术，也在迅猛地前进中。今天，大圣众包威客平台（www.dashengzb.cn）便来与你一起看看大数据开源技术的演进之路及其趋势。



　　一、大数据开源技术的现状与展望

　　要说当前的大数据发展，可谓十分复杂。尤其是当用户想要挑选适合自身的大数据技术时，往往是踌躇忐忑的，既要考虑这个技术是不是真正解决了自身的问题，又要考虑该技术是否得到了积极快速的发展，还要忧心是不是还有新的技术加入很多能够提升的新功能。

　　事实上，当不同的技术之间差别不是很大的时候，用户是可以随便选某一种技术以所用。但是纵观当今大数据产业的发展，在未来，很大机会是可能出现更加集中化、一体化的技术。

　　二、大数据开源技术的发展趋势

　　在未来的大数据产业中，具体一点说，在日新月异的大数据技术中，未来几年将会出现哪些技术呢？趋势又是如何呢？

　　1.流计算备受注重

　　在过去几年当中，可以观察到很多人都注意到内存计算，但是因为内存变得越来越便宜，在很多的系统当中内存计算几乎成为了大数据处理方面的一个标配。同时，流计算变得越来越流行，在最近几年中，很多专业人士都特别地注重了流计算。在流处理方面，Spark已经成为了标准的工具。

　　2.复杂的大数据库出现

　　既然要面对很多不同的数据，那势必需要有很复杂的大数据库来处理。当然，再复杂的事物，基础的“元件”还是要有，所以，未来的开源大数据的堆栈至少应包括以下几个部分：第一，处理单元；第二，储存单元；第三，查询单元。在查询方面，Druid做得比较不错。



　　3.项目几乎达到饱和点

　　纵观时下的发展态势，开源大数据项目几乎已经达到了饱和点。大概大数据当中一旦出现一个问题，就会同时有五个左右的解决方案出现，索引很多问题都可以被快速地解决。在数据提交方面，当前的Kafka已经达到了这个标准。

　　4.更多应用的出现

　　当大数据的基础设施架构不断成熟，不断改善，不断稳定之后，定会催生出很多相关的应用。现在，市面上已经存在一些可视化的工具，以及虚拟现实的工具在应用开源数据，此态势势必愈加壮大。未来几年，架构和设施更加稳定后，还可以研究AR、深度学习、人工智能，等等。

　　5.通用的标准出现

　　当前耳熟能详的大数据的技术，还是比较新的技术，按照发展的规律来看，还需要一些时间才会出现共同的标准。但重点是，大数据产业火爆得程度，已经超出一般的预想，加上政策的支持，相信在不久的将来，很快就会出现大数据方面通用的标准。

　　无论是以宏观的角度还是微观的角度，大数据开源技术都在基础网络、基础系统上迅速发展，也是现今流行的趋势。另外，IT社区也会变得越来越庞大。不相信？让我们一起拭目以待吧！