大数据应用的未来挑战和发展趋势

过去需要用百年才能走完的一个时代现在可能用几十年、十几年就完成了，英国的工业革命从发芽到在全世界生根用了一百年，美国的信息高速公路从一项绝密计划到让世界变成一个村落用了二三十年，而移动互联网、云计算、大数据现在正席卷全球，让各国的政府、企业都在将其视为一个金矿，希望能从中占得先机。大数据的理论研究应该有十几年的历史，随着研究的进行，相关的应用也已经投入到无论是实验室或者是尖端企业的内部，而离我们的日常生活还很遥远。我想在不久的将来最重要的是将大数据应用到我们的日常生活中，让每个人都成为大数据的贡献者、管理者和获利者。但是，大数据正在经受已有制度、规则以及传统思维模式的挑战，我们需要的是变革，从思维上建立与大数据的一致性。

当硬盘等存储设备的价格变得越来越便宜了，当数据中心在全球部署得越来越密集，当服务器的运算速度越来越快的时候，我们可以存储所有的数据，存储若干年，几十年的数据，从这些数据当中无论是横向角度还是纵向角度都可以去分析潜在的规律。这种分析方式是对采样分析的挑战，采样分析在过去很长一段时间为我们分析数据带来了便利，并且有一定的准确性。然而随着时代的变更，细分在社会中占的比重越来越大。例如问卷调查“对就业城市的选择”，过去可能在大街上随便发上千份调查问卷，然后回来做个统计就算分析出大家的喜好了，然而在以前大家会认同这个数据。然而这个数据可靠吗？太不可靠了，因为接受问卷的人都是同一地域的人，都是同一年龄层次的人，都是同一行业的人，不能代表更广大人群的心声。这就是采样分析的弊端，无法从细分的角度去诠释数据样板的规律，给出靠谱的解释。大数据的做法将颠覆传统，它不会是当需要进行一次问卷调查的时候就去搜集样板信息，这样无论是从时间、地域、人群都输在了起跑线上。假设企业的招聘录用信息都已经做了电子化处理，大数据应用将对这个整体样板进行分析从年龄层面、从行业层面、从地域层面给出就业城市选择的不同答案。

从古至今，我们都一直在精益求精，这让我们取得 了很多举世瞩目的成就，例如我们研究物质，我们探寻到物质是由原子组成的，而后原子这个最小单位被打破了，它的内部还有质子和电子，又过了多少年，质子和电子也被认为不是最小单位，还有夸克。这是一种态度，需要坚持，这个方向有利于我们能怀着追求极致的情怀继续在科学的道路上前行。然而现在有了另外一个方向，这个方向要求我们放弃精准，我们需要把注意力专注到事物的发展方向上即可，这个发展方向就是一种可能，可能就代表一种预测。快餐化的生活让我们对未来会怎么样，对下一步会怎么样的需求越来越大。海量的数据不应该被尘封，应该发光发热，为我们预测未来，预测变化。不知道大家注意到没有，现在QQ已经开始做图像识别方面的工作了，当你浏览好友相册的时候，QQ应用程序会掘取其中的人脸，让你填写该人脸的真实名字，如果每个人都在做这项工作，随着岁月的积淀，有一天QQ就可以直接告诉你相片中的每个人是谁了，同时也可以想其他好友推荐美好的瞬间。这就是一种精准的预测，虽然不可能是100%，但是能告诉我们愿意得到的信息。我们的国家也在定期搜集衣食住行方面的数据，不断的优化计算CPI的模型，为有效控制和预测通胀提供参考。

中国人历来讲究因果，不仅知其然，更要知其所以然。如果在大数据面前，我们仍喋喋不休，那么将丧失很多可能性，放在商业，就会浪费商机，放在医疗，就会让病人错过某些疾病治疗的良机。大数据之所以不关注因果关系，那是因为大数据发现相关关系更能说明问题，而且这种解释就是理所当然的。大数据分析发现当某一种数据增加时，另外一种数据也会跟着增加，如果将二者结合看，在现有认知下并不能发现二者的因果关系。我们为什么不搁置因果，先应用这种得出的结论，看这个结论是否能产生效益。零售业巨头沃尔玛在这方面的研究走在了前列，通过记录每位购物者的购物清单，还记录当天的天气，经过长时间的研究，发现当飓风来临时，手电筒和蛋挞的销量剧增，手电筒的需求是源于如果发生停电，手电筒可以支撑照明，但是每个人都不明白为什么这个时候大家都爱吃蛋挞。没有必要纠结为什么，以后飓风来临，就把手电筒和蛋挞放在一起卖吧，这样销售量果然大增。

大数据在未来面临的挑战主要是两方面：一是思维和制度的变革；二是记录信息的方式需要全面的电子化。未来，随着政企网、智慧城市、智能交通这些新兴事物在城市里面变得习以为常，人们都愿意采用电子化的方式记录和管理我们的信息，那么大数据一定会有更大的用武之地，产生更大的商业价值和社会效应。