大数据Hadoop的基础知识与入门
2018-03-17 21:58
330 查看
随着大数据与云计算的应用十分广泛,在这里写一下我对大数据的基本认识与了解;
一、大数据是啥?
1.
(1) 举例子:商品推荐 问题(1)、大量订单如何存储 (2)、大量的订单如何计算
(2) 天气预报 问题 (1)、大量天气数据如何存储 (2)、大量天气数据如何计算
2.核心问题 数据的存储 与数据的计算
3、Hadoop 要解决的问题就是上面两个问题
4. IBM提出大数据的定义5个v ,就是关于数据量大单词
二、如何学习大数据Hadoop
1.重要:原理与运行机制
2.操作: 开发程序(Java程序)
三、Google的基本思想;
3篇论文:
1.GFS (Google file system) : 分布式的文件系统(类似与网盘)----数据的存储----HDFS(Hadoop Distribute file system )
2.Page rank (搜索排名) 算法: Google向量矩阵 大---小 -----数据的计算 Mapreduce 计算模型
3.Big Table (大表 ------) NoSql 数据库 Hbase ( Hadoop DataBase) 不支持事物
分布式文件系统 :思想来源:Google论文
问题:1、数据不够安全 冗余度:Hadoop 默认是3 2、硬盘不够大 (多几块硬盘)
管理员:namNode 1+1 DataNode(具体存储
一、大数据是啥?
1.
(1) 举例子:商品推荐 问题(1)、大量订单如何存储 (2)、大量的订单如何计算
(2) 天气预报 问题 (1)、大量天气数据如何存储 (2)、大量天气数据如何计算
2.核心问题 数据的存储 与数据的计算
3、Hadoop 要解决的问题就是上面两个问题
4. IBM提出大数据的定义5个v ,就是关于数据量大单词
二、如何学习大数据Hadoop
1.重要:原理与运行机制
2.操作: 开发程序(Java程序)
三、Google的基本思想;
3篇论文:
1.GFS (Google file system) : 分布式的文件系统(类似与网盘)----数据的存储----HDFS(Hadoop Distribute file system )
2.Page rank (搜索排名) 算法: Google向量矩阵 大---小 -----数据的计算 Mapreduce 计算模型
3.Big Table (大表 ------) NoSql 数据库 Hbase ( Hadoop DataBase) 不支持事物
分布式文件系统 :思想来源:Google论文
问题:1、数据不够安全 冗余度:Hadoop 默认是3 2、硬盘不够大 (多几块硬盘)
管理员:namNode 1+1 DataNode(具体存储
相关文章推荐
- 大数据01_hadoop入门基础知识
- spark入门知识讲解和基础数据操作编程(统一用scala编程实例)
- 小白入门angular-cli的第一次旅程(学习目标 1.路由的基础知识 在路由时传递数据)
- C++ 数据类型、运算符、和表达式 入门基础知识和概念(二)
- 基于Hadoop的数据仓库Hive 基础知识
- hadoop入门六(基础知识入门)
- 1 python大数据挖掘系列之基础知识入门
- [完]基于Hadoop的数据仓库Hive 基础知识
- Hadoop入门基础知识[2]-运行原理
- 大数据入门基础:Hadoop简介
- 云学堂Hadoop大数据工程师零基础入门进阶实战视频课程
- hadoop入门必备基础知识
- Android入门学习笔记(一)|基础知识|文件数据存储读取|解析XML
- hadoop入门三(基础知识入门)
- swift入门基础知识1基本数据类型
- hadoop入门五(基础知识入门)
- 数据恢复入门-基础知识
- 【备忘】 传智播客云计算大数据Hadoop2014全套高清入门基础到项目实战
- [大数据入门-hadoop基础]eclipse远程调试出现Exception in thread "main" java.lang.UnsatisfiedLinkError
- Nhibernate 基础入门知识 CRUD 数据库表