Facebook的“大数据”到底有多大
2012-10-19 17:26
211 查看
据说这是一个“大数据”的时代,到底有多大呢?
Facebook最近在总部的一次会议中披露的一组数据可以给大家一个初步的印象,来一起看看每天Facebook上都得处理多少数据吧:
25亿 Facebook上分享的内容条数
27亿 “赞”的数量,
3亿 上传照片数
500+TB 新产生的数据
105TB 每半小时通过Hive扫描的数据
100+PB(1PB=1024TB) 单个HDFS(分布式文件系统)集群中的磁盘容量
FB的工程总监Parikh解释了这些数据对于Facebook的意义:“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利用自己收集到的数据,那你只是空有一堆数据而已,不叫大数据。”
目前Facebook有着世界最大的分布式文件系统,单个集群中的数据存储量就超过100PB。在Facebook内部,从一开始就没有在不同的部门之间(比如广告部和用户支持部)设立障碍或者分割数据。这样一来产品开发者就可以跨部门获得数据,实时知晓最近的改动是否增加了用户浏览时间或者促成了更多的广告点击。
作为普通用户,大家也许会对如此海量的数据心存不安,担心自己的数据被随意浏览。对此Facebook表示有各种防范措施来防止此类事情的发生,比如所有的数据读取记录都会被存档,哪些人看过哪些数据都是记录在案的;如果有员工越线,会被直接开除。Parikh着重强调:“在这件事上我们的政策是零容忍。”
Facebook最近在总部的一次会议中披露的一组数据可以给大家一个初步的印象,来一起看看每天Facebook上都得处理多少数据吧:
25亿 Facebook上分享的内容条数
27亿 “赞”的数量,
3亿 上传照片数
500+TB 新产生的数据
105TB 每半小时通过Hive扫描的数据
100+PB(1PB=1024TB) 单个HDFS(分布式文件系统)集群中的磁盘容量
FB的工程总监Parikh解释了这些数据对于Facebook的意义:“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利用自己收集到的数据,那你只是空有一堆数据而已,不叫大数据。”
目前Facebook有着世界最大的分布式文件系统,单个集群中的数据存储量就超过100PB。在Facebook内部,从一开始就没有在不同的部门之间(比如广告部和用户支持部)设立障碍或者分割数据。这样一来产品开发者就可以跨部门获得数据,实时知晓最近的改动是否增加了用户浏览时间或者促成了更多的广告点击。
作为普通用户,大家也许会对如此海量的数据心存不安,担心自己的数据被随意浏览。对此Facebook表示有各种防范措施来防止此类事情的发生,比如所有的数据读取记录都会被存档,哪些人看过哪些数据都是记录在案的;如果有员工越线,会被直接开除。Parikh着重强调:“在这件事上我们的政策是零容忍。”
相关文章推荐
- 数据报表实时分析:出身对命运的影响到底有多大?
- 数据报表实时分析:出身对命运的影响到底有多大?
- MySQL到底能支持多大的数据量?
- Facebook 到底有多大?
- Facebook 到底有多大?
- SQL Server 2008/2005 数据类型-varchar(MAX)、nvarchar(MAX) 到底有多大?
- pb 数据到底有多大
- SQL Server 2008 数据类型-varchar(MAX)、nvarchar(MAX) 到底有多大?
- 大数据到底有多大,人工智能到底有多能
- 谷歌收集的个人隐私数据比Facebook更多
- 自学PHP与培训PHP的到底有多大的差距?
- 编译出错:对于常量池来说,字符串表示的UTF过长,那我想知道,JVM的常量池到底有多大?
- 【Java】自从有了BigInteger,我再也不用担心要处理的数据有多大了
- 英伟达架构师详解:训练一辆Waymo无人车,到底需要多少数据?
- 谷歌Facebook等推新数据转移标准
- SharedPreferences保存中,数据到底存在了哪里?
- Android之ListView滚动到底后自动加载数据
- UDP的分析与UDP一次性能发多大的数据
- Ajax到底有多大力量
- 工作中,“做了”和“做到”到底有多大差别?