大数据导论之为何需要引入大数据
2014-01-07 22:59
204 查看
大数据导论之为何需要引入大数据
一、引言
最近各种客户咨询项目中,往往涉及大数据引入必要性和价值意义的深层次挖掘,客户有数据,有平台,但是不知到底要不要上大数据,为何要上大数据和大数据可以带来哪些价值和意义。本文关于大数据的必要性进行阐述,来源实际项目,算是分享吧。
二、突破技术瓶颈
![](http://images.cnitblog.com/blog/496966/201401/07112120-41666347be574f66bc94da96d23e559f.jpg)
互联网技术催生了大数据时代的来临,大数据时代的数据形态有四大特点:首先数据体量巨大,非结构化数据的超大规模和增长占总数据量的80%至90%,比结构化数据增长快10到50倍;其次、大数据的异构和多样性,比如图片、新闻、博客、微博、微信等,比大更重要的是数据的复杂性,有时甚至大数据中的小数据如一条微博就具有颠覆性的价值;第三,价值密度低,大量的不相关信息,需要沙里淘金;第四,传播速度快,因此,需要实时分析而非批量式分析。
在大数据时代,面对如此海量快速的信息,纯人工监测互联网已经不可行了。自动化舆情软件成为大数据环境下舆情监测和分析的引擎。监测舆情可以设立一些关键词,首先要与自己机构相关,可以包括竞争者或者是合作伙伴,然后要放在特定网络媒体进行搜集。所有“信息碎片”搜集完之后,我们开始聚合信息,判断哪些和产品相关,哪些跟区域相关,哪些跟自己相关。把这些信息进行精确地采集和过滤、炼化分析,包括传播统计和分析(媒介分析、主体传播分布、传播路径分析、传播源头追踪)、敏感(负面)舆情、舆情信息传播趋势分析,预判所收集到舆情信息的未来走势。在此基础上生成舆情简报,舆情简报由系统自动生成,以日或周为单位,对本阶段监测到的舆情进行统计和分析,包括舆情分布、热点舆情排行、负面舆情分析、正面舆情排行等情况。
大数据时代自身的特点决定了我们既面临数据体量巨大的存储压力,同时面临海量数据信息过滤,数据加工、数据分析和平台运算瓶颈。要想突破传统技术瓶颈的约束,我们必须引入大数据技术。
三、摆脱成本枷锁
![](http://images.cnitblog.com/blog/496966/201401/07112157-a2d4d601a7de4bc9a88f0183259a712c.jpg)
基于传统模式的舆情分析和历史数据存储,是建立在高性能服务器硬件和昂贵的关系型数据基础之上的。一方面硬件技术掌握在几大IT巨头手中,服务器的性能是以高昂的成本为支撑的;另外一方面硬件基础之上操作系统、应用软件和关系型数据库同样掌握在几大巨头手中,其价格同样不菲。此外规模的扩展、软件的升级和每年的服务费用也是非常昂贵。
基于互联网技术发展起来的大数据,以开源框架Hadoop、HBase为基础,以Hive、Sqoop、Pig、Flume等软件为工具,建立在X86-PC服务器和开源Linux操作系统之上。一方面硬件成本得以降低、另外一方面再无须为操作系统和应用软件支付高昂的Licence费用。可以说大数据技术将使我所在很大程度上摆脱传统IT厂商巨额的成本依赖。
四、促进业务创新
![](http://images.cnitblog.com/blog/496966/201401/07112241-41a0046fa9fb4330a023500e69f83d7f.jpg)
这部分涉及具体应用,视行业而定。在此制作一个方向说明:大数据的应用可以衍生新的服务,新的产品。
大数据实施方案咨询和技术交流群:293503507,敬请关注。
一、引言
最近各种客户咨询项目中,往往涉及大数据引入必要性和价值意义的深层次挖掘,客户有数据,有平台,但是不知到底要不要上大数据,为何要上大数据和大数据可以带来哪些价值和意义。本文关于大数据的必要性进行阐述,来源实际项目,算是分享吧。
二、突破技术瓶颈
![](http://images.cnitblog.com/blog/496966/201401/07112120-41666347be574f66bc94da96d23e559f.jpg)
互联网技术催生了大数据时代的来临,大数据时代的数据形态有四大特点:首先数据体量巨大,非结构化数据的超大规模和增长占总数据量的80%至90%,比结构化数据增长快10到50倍;其次、大数据的异构和多样性,比如图片、新闻、博客、微博、微信等,比大更重要的是数据的复杂性,有时甚至大数据中的小数据如一条微博就具有颠覆性的价值;第三,价值密度低,大量的不相关信息,需要沙里淘金;第四,传播速度快,因此,需要实时分析而非批量式分析。
在大数据时代,面对如此海量快速的信息,纯人工监测互联网已经不可行了。自动化舆情软件成为大数据环境下舆情监测和分析的引擎。监测舆情可以设立一些关键词,首先要与自己机构相关,可以包括竞争者或者是合作伙伴,然后要放在特定网络媒体进行搜集。所有“信息碎片”搜集完之后,我们开始聚合信息,判断哪些和产品相关,哪些跟区域相关,哪些跟自己相关。把这些信息进行精确地采集和过滤、炼化分析,包括传播统计和分析(媒介分析、主体传播分布、传播路径分析、传播源头追踪)、敏感(负面)舆情、舆情信息传播趋势分析,预判所收集到舆情信息的未来走势。在此基础上生成舆情简报,舆情简报由系统自动生成,以日或周为单位,对本阶段监测到的舆情进行统计和分析,包括舆情分布、热点舆情排行、负面舆情分析、正面舆情排行等情况。
大数据时代自身的特点决定了我们既面临数据体量巨大的存储压力,同时面临海量数据信息过滤,数据加工、数据分析和平台运算瓶颈。要想突破传统技术瓶颈的约束,我们必须引入大数据技术。
三、摆脱成本枷锁
![](http://images.cnitblog.com/blog/496966/201401/07112157-a2d4d601a7de4bc9a88f0183259a712c.jpg)
基于传统模式的舆情分析和历史数据存储,是建立在高性能服务器硬件和昂贵的关系型数据基础之上的。一方面硬件技术掌握在几大IT巨头手中,服务器的性能是以高昂的成本为支撑的;另外一方面硬件基础之上操作系统、应用软件和关系型数据库同样掌握在几大巨头手中,其价格同样不菲。此外规模的扩展、软件的升级和每年的服务费用也是非常昂贵。
基于互联网技术发展起来的大数据,以开源框架Hadoop、HBase为基础,以Hive、Sqoop、Pig、Flume等软件为工具,建立在X86-PC服务器和开源Linux操作系统之上。一方面硬件成本得以降低、另外一方面再无须为操作系统和应用软件支付高昂的Licence费用。可以说大数据技术将使我所在很大程度上摆脱传统IT厂商巨额的成本依赖。
四、促进业务创新
![](http://images.cnitblog.com/blog/496966/201401/07112241-41a0046fa9fb4330a023500e69f83d7f.jpg)
这部分涉及具体应用,视行业而定。在此制作一个方向说明:大数据的应用可以衍生新的服务,新的产品。
大数据实施方案咨询和技术交流群:293503507,敬请关注。
相关文章推荐
- 大数据导论之为何需要引入大数据
- 大数据导论之为何需要引入大数据
- 中小企业为何需要分析数据?
- AJAX提交表单后要清空,否则再次提交原来的数据会认为重复提交,提交失败。使用ajaxSubmit 函数需要引入jquery.form.min.js 文件
- MANIFEST.MF文件Class-Path:节点需要引入的jar太多解决方案
- 三个月成为大数据工程师,你需要具备什么条件?
- 关于Webdriver自动化测试时,页面数据与数据库id不一致的处理方式,需要使用鼠标事件
- C语言编程基础学习字符型数据的ASCII码值为何是负数?
- echo json数据给ajax后, 需要加上exit,防止往下执行,带上其他数据,到时ajax失败
- 算法、数据结构经典资料简介(TAOCP、Robert Sedgewick、算法导论、编程珠玑)
- 数据结构导论——自考
- BindingSource.AddingNew事件可以给新增数据设置需要的值
- 需要用el表达式取值的数据,除了对象,最好都是String类型,
- 魏言ASP.NET数据采集封装类,封装了所有数据采集需要的方法
- 用SugarORM快速开发需要同步和保存大量数据的Android互联网客户端
- Web2.0的信息组织需要引入语义的新思路
- 成为一个数据科学家需要走的路
- 1.1.13、为何需要Jlink、SD卡等辅助设备
- Oracle数据库中需要序列功能,却没有权限时的批量导入主键递增的数据
- SVM入门(七)为何需要核函数