系统架构师成长之路（三）
2016-05-13 18:30
260 查看
在当前的互联网领域，大数据的应用已经十分广泛，尤其以企业为主，企业成为大数据应用的主体。大数据真能改变企业的运作方式吗？答案毋庸置疑是肯定的。随着企业开始利用大数据，我们每天都会看到大数据新的奇妙的应用，帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面，涵盖医疗、交通、金融、教育、体育、零售等各行各业。
古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多计算机系统。
--格蕾斯·霍珀
何为大数据？大数据是指无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型中的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
目前，全球大数据公司主要分为两个阵营。
第一阵营是：传统大型科技类公司。这些公司自身拥有庞大的资金支持和传统的技术保障，他们能够利用自身资源与技术优势迅速冲击大数据领域，并占领一隅。
第二阵营是：创新型数据分析公司。这些公司以创新为灵魂和依托，往往没有充沛的技术、资本累积，但是，是未来大数据发展过程中不可忽视的力量。
全球大数据收入排名前茅的公司有什么值得学习的？有什么优势、什么大动作？你认识的又有几家？
IBM(全称：国际商业机器公司)，被誉为科技领域的蓝色巨人，是全球最大的信息技术和业务解决方案公司，成立于1911年，名副其实的百年“老店”。
因为初创企业，对各行业了解相对浅显，所以IBM能够通过自己的数据分析软件为小型企业提供全面、深入的行业数据分析;对于大型企业而言，IBM不仅为其提供数据库平台，还会提供分析服务，帮助大型企业提高生产、管理效率，削减大型企业的冗余部分。
蓝色巨人给人的印象往往是IT基础设施供应商，但实际上，在2004年IBM将PC业务出售给联想公司，全面进入更高利润的企业级IT市场，2014年出售X86业务后，开始向成为软件和服务领域全面转型，原因很简单：利润率高。
大数据作为正在快速发展的高利润行业，毫无疑问的吸引了IBM的注意力，目前，IBM已经开发出了DB2、Informix与InfoSphere数据库平台、Cognos与SPSS分析应用等一大批知名产品。同时，IBM也为Hadoop开源数据分析平台提供支持。
HP(惠普)，全球性的资讯科技公司。2014年10月曾宣布将企业拆分成两家500强公司：惠普企业和惠普公司;此次拆分预计今年(2015)年底完成。
惠普认为：在未来的一段时间内，所有IT企业面临的问题都将是大数据问题。
惠普将Haven解决方案誉为软件核心的引擎。它是一个对所有数据类型都可以进行采集、存储、管理、优化、分析的平台，实现各个行业大数据一体化的解决方案。
简单来说，HAVEN解决方案=Hadoop(开放架构)+Autonomy(语义计算)+Vertica(数据分析)+Enterprise
Security(ArcSight数据安全)+N个用户应用。
中国作为惠普未来发展战略中重要的市场，惠普已经将“青岛-惠普软件全球大数据应用研究及产业示范基地”落户青岛。据悉，未来惠普将在青岛建设全球大数据应用研究中心、大数据处理中心、测试中心、全球战略伙伴智慧产业试验区等研究机构，并将为青岛的智慧城市建设提供数据支持。
Dell，戴尔公司创立于八十年代个人信息化的风口上，并一度以直销模式成为家用、办公室电脑的首选，风靡全球。目前，Dell拥有包括PC、工作站、存储、交换机、服务器在内的多条产品线。
说到戴尔大事件，一定是今年4月份戴尔公司收购EMC这个存储领头羊。收购金额高达670亿美元，一跃成为IT史上最大并购案。
对于正在转型的戴尔来说，收购EMC绝对是迈克尔·戴尔的一步好棋。毫无疑问，存储在向企业级转型的戴尔宏图中占有重要位置，而大数据的存在绝对离不开卓越的存储技术。
在戴尔未来的大数据规划中，戴尔将随着大数据时代的到来和对存储基础架构应需而变的要求，基于戴尔流动数据体系架构的存储解决方案，为客户提供智能的端对端的数据管理，重新定义数据经济。
SAP，位于德国沃尔多夫市，主营业务为软件和服务，提供企业应用软件的研发和推广，全球领先的企业管理软件解决方案提供商。
SAP自成立以来一直从事企业软件的开发与推广，通过40年的积累，已经让SAP的大数据解决方案深入到政府大数据、医疗大数据、市场营销、体育赛事分析和电子商务等各个领域。
纪秉盟(SAP大中华区总裁)表示：企业不能固守于过去的成功，过去企业的成功在未来不一定继续有效。企业要打造数据驱动的企业文化，因为在数字化的世界当中，企业的动作、速度变得越来越快。
的确，很多企业都已经注意到企业转型的必要性，但真正着手改变的企业并不多。“转型就是找死，不转型就是等死”已经成为企业的心头病。SAP认为，随着数字化的特征逐渐显现，行业之间的界限也越来越模糊，企业向数字化转型已经不能再持等待和观望状态。
Teradata(天睿公司)，被列为美国前十大上市软件公司之一，以0.27亿美元的微弱差距屈居全球大数据收入规模第五名。
您可能觉得Teradata这个公司有点陌生，但对于啤酒与尿片的案例一定很熟悉。虽然这个故事的真实性有待商榷，但有消息表示，这个故事的确是从Teradata的一位经理口中传出。
啤酒与尿片指的是，在沃尔玛的超市中，啤酒与尿片两个看似毫不相关的商品会摆放在一起，原因是，当老婆在家带孩子时，男人通常会出去给孩子买尿片。到超市后，男人会想给自己买啤酒;这样，啤酒与尿片两个看似毫不相关的商品放在一起会大幅提升商品的销量。
认识了Teradata，我们来聊聊Teradata Patners全球用户大会。Teradata Patners全球用户大会是大数据领域的年度盛宴。在今年的全球用户大会上，Teradata抛出了一个有趣的观点，即：万物皆可分析。
在Gartner发布的2016十大可能影响企业的技术趋势中，物联网技术高票入选。但是从物联网生成的数据中获取价值非常困难，所以，从物联网中收集和简化信息成为了重中之重。为此，Teradata发布了一款具有实时“听取”功能的自助式智能软件，Teradata Listener，能够跟踪客户存放在世界各地的多条传感器和物联网数据流，并将该数据传送到分析生态系统的平台上，帮助客户分析不计其数的数据源，简化数据分析难度。
Oracle，甲骨文公司全球第二大软件公司，据悉，《财富》100强中的98家公司都采用Oracle技术。
甲骨文的大数据布局主要分为两方面：一、从后端Hadoop、NoSQL到前端数据展现(Endeca)，提供网站的端到端的大数据解决方案;二、传统技能与新技术相结合，利用Big Data SQL来提供SQL-on-Hadoop工具。
在与英特尔合作后，推出了“Exa your power”合作项目。事后，甲骨文董事长拉里·埃里森曾表示：“IBM与SAP在过去20年中一直是我们的竞争对手，但如今我们已经不再把主要精力用在他们身上。”
在去年11月12日，甲骨文与腾讯云签署合作谅解备忘录，宣布共同为中国企业提供甲骨文企业及云计算服务。也意味着，“姗姗来迟”的甲骨文云终于在腾讯云的依托下落地中国。
对此，甲骨文表示，云部署取得成功最关键的一点在于：企业必须充分理解数据的价值，将数据资产看得与财务资产同样重要，这将会改变企业的思维方式。
Splunk，是第一家上市的大数据概念公司。2012年，Splunk在纳斯达克上市的首个交易日109%的涨幅，充分满足了人们对大数据板块市场空间的想象。Splunk也曾被华尔街评为：大数据里面的谷歌(Googlefor
IT)。
Splunk认为，如果说过去10年更注重数据写(Schema atWrite)的能力，那未来15年将是以读(Schema atRead)为主的时代。其软件可用于监控、分析实时的机器数据以及TB级别的数据(数据源既可本地，也可是云)。
在电信、金融领域，Splunk拥有庞大的用户群，例如：中国移动、中国电信、民生保险、银联支付、百联支付、国美电器等。
Splunk不比传统的科技巨头，但它也已经在大数据领域累积了超过十年的经验。目前，Splunk也已经在上海建立了自己的研发中心，着重研究移动端的产品研发。
提到微软，大家首先想到的肯定是Windows操作系统和office办公软件，殊不知，这个全球最大软件公司在大数据领域也是下足了功夫。
为了快速提升微软在大数据领域的竞争力，仅2015年一年，微软就收购了3家数据相关企业：Revolution Analytics、DataZen和VoloMetrix。而在微软的大数据战略中，SQL Server有着举足轻重的地位。
微软认为，大数据和云计算是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。微软恰好满足了这枚硬币的两面(Azure和SQL Server)。
云计算是大数据成长的驱动力，Windows Server为企业级客户提供了构建私有云平台，Windows Azure是公有云平台，两者相结合满足了客户对公有云、私有云和混合云的需求。除此之外，Microsoft SQL Server和Microsoft SQL Serverfor Hadoop很好地打造了结构化数据和非结构化数据的互操作。
Amazon(亚马逊)，是美国最大的网络电子商务公司，在2006年推出企业云业务AWS(Amazon
Web Services)，在市场上十分有竞争力。
亚马逊的精准营销，在大数据领域可谓是久负盛名。用户在使用亚马逊网站的过程中，搜索了什么，看了什么，最终购买了什么，这些数据都会被系统记录。亚马逊正是通过长久的数据收集、整理和分析用户行为和喜好，挖掘用户的潜在需求，以此为依据进行精准营销。
说道点上就不得不聊聊令人头痛的物流。中国的购物节(双十一)刚过，物流也成为了买家最头痛问题。
为了解决订单量突增，物流跟不上的问题，亚马逊申请了一项基于大数据分析的“预测性物流”专利。这项专利可以让亚马逊根据海量用户数据，去预判用户的购买行为，提前将这些商品运出仓库，放到托运中心寄存，等用户下单了，立马装车运往用户家中。通过这项技术能够极大缩短送货时间，提高用户体验。
Google，谷歌全球最大的搜索引擎公司。以互联网搜索、云计算、广告技术为公司的主营业务。
作为当之无愧的全球最大搜索引擎，谷歌积累了大量的用户数据，加上自有的大数据技术，打造了一个开源的大数据平台，最终实现谷歌闭合的大数据生态圈。
谷歌提供的大数据智能应用包括：客户情绪分析、交易风险、产品推荐、消息路由、诊断、客户流预测、法律文案分类、电子邮件内容过滤、政治倾向预测、物种鉴定等多个方面。
而这些鉴定也会有失误的情况。比如去年7月份，一名叫杰克·艾尔萨尼的程序员在Twitter上透露，Google Photos将两位黑人标记成了“大猩猩”。事后，谷歌发言人表示了道歉。据悉，该错误主要是由算法漏洞造成的，事件发生后，谷歌迅速进行了更改。
国内做大数据的公司依旧分为两类：
一类是现在已经有获取大数据能力的公司，如百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业，涵盖了数据采集，数据存储，数据分析，数据可视化以及数据安全等领域；
另一类则是初创的大数据公司，他们依赖于大数据工具，针对市场需求，为市场带来创新方案并推动技术发展。其中大部分的大数据应用还是需要第三方公司提供服务
古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们不曾想过培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多计算机系统。
--格蕾斯·霍珀
大数据概念
何为大数据？大数据是指无法再一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型中的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。目前，全球大数据公司主要分为两个阵营。
第一阵营是：传统大型科技类公司。这些公司自身拥有庞大的资金支持和传统的技术保障，他们能够利用自身资源与技术优势迅速冲击大数据领域，并占领一隅。
第二阵营是：创新型数据分析公司。这些公司以创新为灵魂和依托，往往没有充沛的技术、资本累积，但是，是未来大数据发展过程中不可忽视的力量。
全球大数据收入排名前茅的公司有什么值得学习的？有什么优势、什么大动作？你认识的又有几家？
IBM(全称：国际商业机器公司)，被誉为科技领域的蓝色巨人，是全球最大的信息技术和业务解决方案公司，成立于1911年，名副其实的百年“老店”。
因为初创企业，对各行业了解相对浅显，所以IBM能够通过自己的数据分析软件为小型企业提供全面、深入的行业数据分析;对于大型企业而言，IBM不仅为其提供数据库平台，还会提供分析服务，帮助大型企业提高生产、管理效率，削减大型企业的冗余部分。
蓝色巨人给人的印象往往是IT基础设施供应商，但实际上，在2004年IBM将PC业务出售给联想公司，全面进入更高利润的企业级IT市场，2014年出售X86业务后，开始向成为软件和服务领域全面转型，原因很简单：利润率高。
大数据作为正在快速发展的高利润行业，毫无疑问的吸引了IBM的注意力，目前，IBM已经开发出了DB2、Informix与InfoSphere数据库平台、Cognos与SPSS分析应用等一大批知名产品。同时，IBM也为Hadoop开源数据分析平台提供支持。
HP(惠普)，全球性的资讯科技公司。2014年10月曾宣布将企业拆分成两家500强公司：惠普企业和惠普公司;此次拆分预计今年(2015)年底完成。
惠普认为：在未来的一段时间内，所有IT企业面临的问题都将是大数据问题。
惠普将Haven解决方案誉为软件核心的引擎。它是一个对所有数据类型都可以进行采集、存储、管理、优化、分析的平台，实现各个行业大数据一体化的解决方案。
简单来说，HAVEN解决方案=Hadoop(开放架构)+Autonomy(语义计算)+Vertica(数据分析)+Enterprise
Security(ArcSight数据安全)+N个用户应用。
中国作为惠普未来发展战略中重要的市场，惠普已经将“青岛-惠普软件全球大数据应用研究及产业示范基地”落户青岛。据悉，未来惠普将在青岛建设全球大数据应用研究中心、大数据处理中心、测试中心、全球战略伙伴智慧产业试验区等研究机构，并将为青岛的智慧城市建设提供数据支持。
Dell，戴尔公司创立于八十年代个人信息化的风口上，并一度以直销模式成为家用、办公室电脑的首选，风靡全球。目前，Dell拥有包括PC、工作站、存储、交换机、服务器在内的多条产品线。
说到戴尔大事件，一定是今年4月份戴尔公司收购EMC这个存储领头羊。收购金额高达670亿美元，一跃成为IT史上最大并购案。
对于正在转型的戴尔来说，收购EMC绝对是迈克尔·戴尔的一步好棋。毫无疑问，存储在向企业级转型的戴尔宏图中占有重要位置，而大数据的存在绝对离不开卓越的存储技术。
在戴尔未来的大数据规划中，戴尔将随着大数据时代的到来和对存储基础架构应需而变的要求，基于戴尔流动数据体系架构的存储解决方案，为客户提供智能的端对端的数据管理，重新定义数据经济。
SAP，位于德国沃尔多夫市，主营业务为软件和服务，提供企业应用软件的研发和推广，全球领先的企业管理软件解决方案提供商。
SAP自成立以来一直从事企业软件的开发与推广，通过40年的积累，已经让SAP的大数据解决方案深入到政府大数据、医疗大数据、市场营销、体育赛事分析和电子商务等各个领域。
纪秉盟(SAP大中华区总裁)表示：企业不能固守于过去的成功，过去企业的成功在未来不一定继续有效。企业要打造数据驱动的企业文化，因为在数字化的世界当中，企业的动作、速度变得越来越快。
的确，很多企业都已经注意到企业转型的必要性，但真正着手改变的企业并不多。“转型就是找死，不转型就是等死”已经成为企业的心头病。SAP认为，随着数字化的特征逐渐显现，行业之间的界限也越来越模糊，企业向数字化转型已经不能再持等待和观望状态。
Teradata(天睿公司)，被列为美国前十大上市软件公司之一，以0.27亿美元的微弱差距屈居全球大数据收入规模第五名。
您可能觉得Teradata这个公司有点陌生，但对于啤酒与尿片的案例一定很熟悉。虽然这个故事的真实性有待商榷，但有消息表示，这个故事的确是从Teradata的一位经理口中传出。
啤酒与尿片指的是，在沃尔玛的超市中，啤酒与尿片两个看似毫不相关的商品会摆放在一起，原因是，当老婆在家带孩子时，男人通常会出去给孩子买尿片。到超市后，男人会想给自己买啤酒;这样，啤酒与尿片两个看似毫不相关的商品放在一起会大幅提升商品的销量。
认识了Teradata，我们来聊聊Teradata Patners全球用户大会。Teradata Patners全球用户大会是大数据领域的年度盛宴。在今年的全球用户大会上，Teradata抛出了一个有趣的观点，即：万物皆可分析。
在Gartner发布的2016十大可能影响企业的技术趋势中，物联网技术高票入选。但是从物联网生成的数据中获取价值非常困难，所以，从物联网中收集和简化信息成为了重中之重。为此，Teradata发布了一款具有实时“听取”功能的自助式智能软件，Teradata Listener，能够跟踪客户存放在世界各地的多条传感器和物联网数据流，并将该数据传送到分析生态系统的平台上，帮助客户分析不计其数的数据源，简化数据分析难度。
Oracle，甲骨文公司全球第二大软件公司，据悉，《财富》100强中的98家公司都采用Oracle技术。
甲骨文的大数据布局主要分为两方面：一、从后端Hadoop、NoSQL到前端数据展现(Endeca)，提供网站的端到端的大数据解决方案;二、传统技能与新技术相结合，利用Big Data SQL来提供SQL-on-Hadoop工具。
在与英特尔合作后，推出了“Exa your power”合作项目。事后，甲骨文董事长拉里·埃里森曾表示：“IBM与SAP在过去20年中一直是我们的竞争对手，但如今我们已经不再把主要精力用在他们身上。”
在去年11月12日，甲骨文与腾讯云签署合作谅解备忘录，宣布共同为中国企业提供甲骨文企业及云计算服务。也意味着，“姗姗来迟”的甲骨文云终于在腾讯云的依托下落地中国。
对此，甲骨文表示，云部署取得成功最关键的一点在于：企业必须充分理解数据的价值，将数据资产看得与财务资产同样重要，这将会改变企业的思维方式。
Splunk，是第一家上市的大数据概念公司。2012年，Splunk在纳斯达克上市的首个交易日109%的涨幅，充分满足了人们对大数据板块市场空间的想象。Splunk也曾被华尔街评为：大数据里面的谷歌(Googlefor
IT)。
Splunk认为，如果说过去10年更注重数据写(Schema atWrite)的能力，那未来15年将是以读(Schema atRead)为主的时代。其软件可用于监控、分析实时的机器数据以及TB级别的数据(数据源既可本地，也可是云)。
在电信、金融领域，Splunk拥有庞大的用户群，例如：中国移动、中国电信、民生保险、银联支付、百联支付、国美电器等。
Splunk不比传统的科技巨头，但它也已经在大数据领域累积了超过十年的经验。目前，Splunk也已经在上海建立了自己的研发中心，着重研究移动端的产品研发。
提到微软，大家首先想到的肯定是Windows操作系统和office办公软件，殊不知，这个全球最大软件公司在大数据领域也是下足了功夫。
为了快速提升微软在大数据领域的竞争力，仅2015年一年，微软就收购了3家数据相关企业：Revolution Analytics、DataZen和VoloMetrix。而在微软的大数据战略中，SQL Server有着举足轻重的地位。
微软认为，大数据和云计算是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。微软恰好满足了这枚硬币的两面(Azure和SQL Server)。
云计算是大数据成长的驱动力，Windows Server为企业级客户提供了构建私有云平台，Windows Azure是公有云平台，两者相结合满足了客户对公有云、私有云和混合云的需求。除此之外，Microsoft SQL Server和Microsoft SQL Serverfor Hadoop很好地打造了结构化数据和非结构化数据的互操作。
Amazon(亚马逊)，是美国最大的网络电子商务公司，在2006年推出企业云业务AWS(Amazon
Web Services)，在市场上十分有竞争力。
亚马逊的精准营销，在大数据领域可谓是久负盛名。用户在使用亚马逊网站的过程中，搜索了什么，看了什么，最终购买了什么，这些数据都会被系统记录。亚马逊正是通过长久的数据收集、整理和分析用户行为和喜好，挖掘用户的潜在需求，以此为依据进行精准营销。
说道点上就不得不聊聊令人头痛的物流。中国的购物节(双十一)刚过，物流也成为了买家最头痛问题。
为了解决订单量突增，物流跟不上的问题，亚马逊申请了一项基于大数据分析的“预测性物流”专利。这项专利可以让亚马逊根据海量用户数据，去预判用户的购买行为，提前将这些商品运出仓库，放到托运中心寄存，等用户下单了，立马装车运往用户家中。通过这项技术能够极大缩短送货时间，提高用户体验。
Google，谷歌全球最大的搜索引擎公司。以互联网搜索、云计算、广告技术为公司的主营业务。
作为当之无愧的全球最大搜索引擎，谷歌积累了大量的用户数据，加上自有的大数据技术，打造了一个开源的大数据平台，最终实现谷歌闭合的大数据生态圈。
谷歌提供的大数据智能应用包括：客户情绪分析、交易风险、产品推荐、消息路由、诊断、客户流预测、法律文案分类、电子邮件内容过滤、政治倾向预测、物种鉴定等多个方面。
而这些鉴定也会有失误的情况。比如去年7月份，一名叫杰克·艾尔萨尼的程序员在Twitter上透露，Google Photos将两位黑人标记成了“大猩猩”。事后，谷歌发言人表示了道歉。据悉，该错误主要是由算法漏洞造成的，事件发生后，谷歌迅速进行了更改。
国内做大数据的公司依旧分为两类：
一类是现在已经有获取大数据能力的公司，如百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业，涵盖了数据采集，数据存储，数据分析，数据可视化以及数据安全等领域；
另一类则是初创的大数据公司，他们依赖于大数据工具，针对市场需求，为市场带来创新方案并推动技术发展。其中大部分的大数据应用还是需要第三方公司提供服务
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 