从《大数据》谈起(下)
2017-08-07 23:11
85 查看
《大数据》一书探讨了大数据时代来临的三个重要转变,分别是:
1. 数据量不再成为限制
正如第一点所总结的那样,“大数据”某种意义上相当于“伊甸园内的苹果”,正因为充满未知,故而显得那么诱惑。对于个体而言,在我的观点中我是认为“大数据和机器学习是平民科学工具,而统计分析是贵族专属手段”。
在这个时代,数据渠道之众、规模之大、涵盖范围之广,机器学习等配套的大数据处理技术的开源化以及计算资源成本降低,第一次将个体和专业机构甚至政府部门面对同样具体问题的决策分析能力拉到同一层面,甚至同一起跑线,这种决策能力的平民化,必然带来社会结构的变化。只要必要的数据被政府职能部门公开,我们的社会必然会出现越来越多的自下而上的推动变化,而在大数据一文中,作者便举了多个案例用于佐证:
美国气象部门免费的公开气象预测数据,虽然其具体的影响无法估测,但经预估围绕公开的气象预测数据至少为美国带来数百亿美金的经济助力,如保险、应急救援等;
美国公布了对国家职能部门的预算和过往的开支数据,众多民众通过分析细末的数据细节,发现并举报可能存在的经费问题,起到了有效的监督作用,从而某种意义上,在现今社会,“数据权”是民众更为切实存在的“监督权”;
美国公布对众多煤矿企业的安全监测报告,民众通过申请调用,可以查询任一煤矿的某些安全数据,从而为民众督促资本方保护矿工安全提供了切实可靠的数据来源,为民众通过政府数据、舆论压力反制资本剥削提供了切实存在的一条途径,这是美国矿工通过半个世纪无数条生命才争取到的政府管控监督、数据开放,这也是为什么矿工在美国工会中的地位非常之高的另一个原因。
如果说身份证实我们在现实社会的唯一标识,那么现在的互联网虚拟世界中QQ账号已经大有这一特征。
百度虽有搜索账号,但是也只是百度亡羊补牢之举,百度账号貌似也只是两三年前开始强力推广,但是至今也只能局限在百度自有的体系中,如百度贴吧、百度知道等。
淘宝专注于自己的购物生活消费生态圈建设,因为涉及到用户高度机密的消费购物信息,这种高附加值的用户画像关键数据,相信阿里爸爸也不会舍得乱分享。
互联网给大多数人的错觉是虚拟、无痕迹、不可追踪且和现实高度剥离,淘宝账号带有的线上线下线索会让很多人拒绝把淘宝账号作为互联网统一ID;而腾讯天生就是做社交的,对虚拟社会的唯一标识ID具有极强敏感性,互联网涉及内容的网站你大多都能用QQ直接登录,这得力于腾讯方面的大力推广,强推QQ的统一ID属性,(当然这只是个小插曲,无关本文主题)。
这种类似拥有“上帝视角”,可以窥探每个个体更深层次的信息的能力当然是致命的诱惑,至于是不是“潘多拉魔盒”,who cares?
中国的民众不在意,因为在历史上我们就已经习惯了这种每个公民用户“身份唯一标识”的体制,甚至已经习以为常,这是因为在5000年历史中,中国的百姓从来都没有作为“独立的公民个体”存在过,中国的百姓从来都是附属于权贵阶层的“高级别财富”,封侯封爵最重要的赏赐除了土地,其次便是人,这便是封建思想,而这种“严密的管制”到明朝尤甚,出现了玄武湖这样的大型、专业的全国人口管理资料库(黄册库),到现今的“户口”,都是换汤不换药,只不过是管控强弱稍有区分罢了。
美国至今都没有“身份证”这一概念,美国的社会根本没有社会唯一标识ID。《一九八四》是奥威尔世界著名的反乌托邦、反极权的政治讽刺小说,影射极致的极权统治,而无处不在的监控便是其主要特征。政府要想深度挖掘用户的信息(信用、性格、反社会 etc)则必须要充分收集用户尽可能多的信息,而将用户分处不同系统中的信息集合在一起关键便是“公民唯一标识ID”,举例讲:要将一个用户的银行账户系统和其家乐福购物信息都提取出来整合在一起,然后归于此人名下;但是如果没有“身份证”这样的“唯一标识ID”充当两数据库间共用的“主键”,那么如何判断银行系统中某条信息和家乐福购物的信息是同一个人的便成为一个头疼的问题!
所以“公民唯一标识ID”某种意义上,确实有利于政府管控,加强社会管理,为社会安全稳定起到作用,但另一方面也加强了政府的监控力度,只要它想,它可以根据“公民唯一标识ID”立即调用某个公民的所有信息,用于充分侧写该公民的profile,进行针对性的警告甚至逮捕。这样的政府不正是《一九八四》中所提到那个“记住,老大哥无时无刻不在看着你”中的“老大哥”吗?大数据时代,这便是政府的诉求,追求“唯一身份标识ID”用以获取可以打开任一个体分散在各处的数据的万能钥匙。
最后,送上两段喜欢的话:
文明,就是向拥有隐私权的社会不断迈进的进程。野蛮社会的一切都是公共的,靠部落的法则来处理。文明是将一个人从一群人当中解放出来的过程。
Civilization is the progress toward a society of privacy. The savage’s whole existence is public, ruled the laws of his tribe. Civilization is the process of setting man free from men.
——艾因.兰德(1905-1982),俄裔美国哲学家文学家,1943年
争你们个人的自由,便是为国家争自由,争你们自己的人格,便是为国家争人格,自由平等的国家不是一群奴才建造得起来的。
——胡适
1. 数据量不再成为限制
正如第一点所总结的那样,“大数据”某种意义上相当于“伊甸园内的苹果”,正因为充满未知,故而显得那么诱惑。对于个体而言,在我的观点中我是认为“大数据和机器学习是平民科学工具,而统计分析是贵族专属手段”。
在这个时代,数据渠道之众、规模之大、涵盖范围之广,机器学习等配套的大数据处理技术的开源化以及计算资源成本降低,第一次将个体和专业机构甚至政府部门面对同样具体问题的决策分析能力拉到同一层面,甚至同一起跑线,这种决策能力的平民化,必然带来社会结构的变化。只要必要的数据被政府职能部门公开,我们的社会必然会出现越来越多的自下而上的推动变化,而在大数据一文中,作者便举了多个案例用于佐证:
美国气象部门免费的公开气象预测数据,虽然其具体的影响无法估测,但经预估围绕公开的气象预测数据至少为美国带来数百亿美金的经济助力,如保险、应急救援等;
美国公布了对国家职能部门的预算和过往的开支数据,众多民众通过分析细末的数据细节,发现并举报可能存在的经费问题,起到了有效的监督作用,从而某种意义上,在现今社会,“数据权”是民众更为切实存在的“监督权”;
美国公布对众多煤矿企业的安全监测报告,民众通过申请调用,可以查询任一煤矿的某些安全数据,从而为民众督促资本方保护矿工安全提供了切实可靠的数据来源,为民众通过政府数据、舆论压力反制资本剥削提供了切实存在的一条途径,这是美国矿工通过半个世纪无数条生命才争取到的政府管控监督、数据开放,这也是为什么矿工在美国工会中的地位非常之高的另一个原因。
如果说身份证实我们在现实社会的唯一标识,那么现在的互联网虚拟世界中QQ账号已经大有这一特征。
百度虽有搜索账号,但是也只是百度亡羊补牢之举,百度账号貌似也只是两三年前开始强力推广,但是至今也只能局限在百度自有的体系中,如百度贴吧、百度知道等。
淘宝专注于自己的购物生活消费生态圈建设,因为涉及到用户高度机密的消费购物信息,这种高附加值的用户画像关键数据,相信阿里爸爸也不会舍得乱分享。
互联网给大多数人的错觉是虚拟、无痕迹、不可追踪且和现实高度剥离,淘宝账号带有的线上线下线索会让很多人拒绝把淘宝账号作为互联网统一ID;而腾讯天生就是做社交的,对虚拟社会的唯一标识ID具有极强敏感性,互联网涉及内容的网站你大多都能用QQ直接登录,这得力于腾讯方面的大力推广,强推QQ的统一ID属性,(当然这只是个小插曲,无关本文主题)。
这种类似拥有“上帝视角”,可以窥探每个个体更深层次的信息的能力当然是致命的诱惑,至于是不是“潘多拉魔盒”,who cares?
中国的民众不在意,因为在历史上我们就已经习惯了这种每个公民用户“身份唯一标识”的体制,甚至已经习以为常,这是因为在5000年历史中,中国的百姓从来都没有作为“独立的公民个体”存在过,中国的百姓从来都是附属于权贵阶层的“高级别财富”,封侯封爵最重要的赏赐除了土地,其次便是人,这便是封建思想,而这种“严密的管制”到明朝尤甚,出现了玄武湖这样的大型、专业的全国人口管理资料库(黄册库),到现今的“户口”,都是换汤不换药,只不过是管控强弱稍有区分罢了。
美国至今都没有“身份证”这一概念,美国的社会根本没有社会唯一标识ID。《一九八四》是奥威尔世界著名的反乌托邦、反极权的政治讽刺小说,影射极致的极权统治,而无处不在的监控便是其主要特征。政府要想深度挖掘用户的信息(信用、性格、反社会 etc)则必须要充分收集用户尽可能多的信息,而将用户分处不同系统中的信息集合在一起关键便是“公民唯一标识ID”,举例讲:要将一个用户的银行账户系统和其家乐福购物信息都提取出来整合在一起,然后归于此人名下;但是如果没有“身份证”这样的“唯一标识ID”充当两数据库间共用的“主键”,那么如何判断银行系统中某条信息和家乐福购物的信息是同一个人的便成为一个头疼的问题!
所以“公民唯一标识ID”某种意义上,确实有利于政府管控,加强社会管理,为社会安全稳定起到作用,但另一方面也加强了政府的监控力度,只要它想,它可以根据“公民唯一标识ID”立即调用某个公民的所有信息,用于充分侧写该公民的profile,进行针对性的警告甚至逮捕。这样的政府不正是《一九八四》中所提到那个“记住,老大哥无时无刻不在看着你”中的“老大哥”吗?大数据时代,这便是政府的诉求,追求“唯一身份标识ID”用以获取可以打开任一个体分散在各处的数据的万能钥匙。
最后,送上两段喜欢的话:
文明,就是向拥有隐私权的社会不断迈进的进程。野蛮社会的一切都是公共的,靠部落的法则来处理。文明是将一个人从一群人当中解放出来的过程。
Civilization is the progress toward a society of privacy. The savage’s whole existence is public, ruled the laws of his tribe. Civilization is the process of setting man free from men.
——艾因.兰德(1905-1982),俄裔美国哲学家文学家,1943年
争你们个人的自由,便是为国家争自由,争你们自己的人格,便是为国家争人格,自由平等的国家不是一群奴才建造得起来的。
——胡适
相关文章推荐
- 从刷支付宝乘地铁谈起,浅议大数据时代的隐私安全
- 从《大数据》一书谈起(上)
- 电商用户行为分析大数据平台相关系列6-flume安装
- 大数据学习系列----安装Hadoop
- 如何低成本、高效率搭建Hadoop/Spark大数据处理平台
- 院士梅宏:真正的大数据应用体现在数据挖掘的深度
- 6月10日(JDBC进行批处理,处理大数据文件)
- 信息加速累积下 医疗大数据存在的几种潜在变现能力
- CSS布局 ——从display,position, float属性谈起
- 流式大数据处理的三种框架:Storm,Spark和Samza
- 从招式与内功谈起——设计模式概述(二)
- 为什么我不建议你直接使用UIImage传值?--从一个诡异的相册九图连读崩溃bug谈起
- 《云计算架构技术与实践》读书笔记(三):容器开源软件和大数据开源软件
- 【大数据系列】hadoop2.0中的jobtracker和tasktracker哪里去了
- 大数据系列之Hadoop框架
- 大数据分析建模思路技巧和算法的特征
- 从Spring HibernateTemplate模板方法设计模式的实现谈起
- 10款超好用的开源大数据分析工具
- 玩转Python大数据分析 《Python for Data Analysis》的读书笔记-第09页
- MySQL大数据量分页SQL语句优化