处理大数据的四个步骤
2015-11-09 23:27
246 查看
处理大数据的四个步骤：
收集：原始数据种类多样，格式、位置、存储、时效性等迥异。数据收集从异构数据源中收集数据并转换成相应的格式方便处理。
存储：收集好的数据需要根据成本、格式、查询、业务逻辑等需求，存放在合适的存储中，方便进一步的分析。
变形：原始数据需要变形与增强之后才适合分析，比如网页日志中把IP地址替换成省市、传感器数据的纠错、用户行为统计等。
分析：通过整理好的数据分析what happened、why it happened、what is happening和what will happen，帮助企业决策。
图：大数据处理的工作流
收集：原始数据种类多样，格式、位置、存储、时效性等迥异。数据收集从异构数据源中收集数据并转换成相应的格式方便处理。
存储：收集好的数据需要根据成本、格式、查询、业务逻辑等需求，存放在合适的存储中，方便进一步的分析。
变形：原始数据需要变形与增强之后才适合分析，比如网页日志中把IP地址替换成省市、传感器数据的纠错、用户行为统计等。
分析：通过整理好的数据分析what happened、why it happened、what is happening和what will happen，帮助企业决策。
图：大数据处理的工作流
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- TinyOS06：Avrora的Mailing List
- poj 2010 Moo University - Financial Aid 优先队列
- fibonacci && climbing-stairs
- 转发Spark亚太研究院院长王家林大数据和云计算学习视频
- 你是探索者，还是归客？用大数据说话
- 数据库大数据访问的解决方法
- LightOJ 1021 - Painful Bases（dp）
- http://blog.csdn.net/jadyer/article/details/6013743
- 最新 Hadoop 视频分享
- 最新 Hadoop 视频分享
- hdu 3264 Open-air shopping malls（几何）
- PaaS初步探究
- 王家林老师的免费大数据视频，欢迎大家下载学习。
- 第119讲：HDFS的配置以及安全高效的HDFS配置最佳实践学习笔记
- 大数据架构之:Storm
- 王家林大数据视频
- 大数据架构之:Spark
- hdu4770 Lights Against Dudely
- Hadoop辅助排序样例一
- 大数据架构之:Kafka