采用HADOOP的MAPREDUCE使用其他文件系统或数据库系统的方式
2010-01-05 17:50
441 查看
1、Hadoop中实现了MapReduce和HDFS两大功能,是Hadoop可以独立部署为一个分布式的计算平台。
2、MapReduce和HDFS可以相互独立启动。也就是说可以独立启动MapReduce实现分布式计算;独立启动HDFS提供分布式文件系统。
3、实现MapReduce的服务器群组可以和提供分布式数据库服务和分布式文件服务的系统分开或合并,相互不影响。
4、MapReduce使用其他文件系统或数据库系统进行分布式计算,需要其他系统提供JAVA访问的API。开发人员需要实现Map、Reduce、InputSplit、InputFormat、RecordReader、OutputFormat、RecordWriter接口。
5、由于MapReduce依赖于Hadoop提供的同步、通讯、协作等机制。所以将MapReduce脱离Hadoop比较困难,并且如果脱离了,就是一个Map-Reduce算法了。
2、MapReduce和HDFS可以相互独立启动。也就是说可以独立启动MapReduce实现分布式计算;独立启动HDFS提供分布式文件系统。
3、实现MapReduce的服务器群组可以和提供分布式数据库服务和分布式文件服务的系统分开或合并,相互不影响。
4、MapReduce使用其他文件系统或数据库系统进行分布式计算,需要其他系统提供JAVA访问的API。开发人员需要实现Map、Reduce、InputSplit、InputFormat、RecordReader、OutputFormat、RecordWriter接口。
5、由于MapReduce依赖于Hadoop提供的同步、通讯、协作等机制。所以将MapReduce脱离Hadoop比较困难,并且如果脱离了,就是一个Map-Reduce算法了。
相关文章推荐
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境05_HDFS文件系统和Mapreduce框架的启动和运行
- 将Oracle数据库改为归档模式并启用RMAN备份 如下Linux环境下对Oracle单节点数据库采用文件系统情况的配置归档模式过程。首先查看数据库归档模式和磁盘使用情况,确定归档文件放到什么位置。
- 数据库采用多表连接查询,对应javaBean文件连接方式
- 关于集成第三方office的sdk产品,采用servlet方式将数据库表BLOB字段文件下载与二进制文件上传到blob
- 在Android系统使用PULL方式解析【多层】XML文件
- eclipse使用JavaAPI操纵Hadoop的HDFS文件系统时提示权限不足的解决方案
- “Oracle大型数据库系统在AIXUNIX上的实战详解” 答疑十三:使用大文件表空间
- 使用HDFS API实现hadoop HDFS文件系统的基本操作
- Hadoop 2.6 使用MapReduce实现基于用户的推荐系统
- 64位系统使用Access 数据库文件的彻底解决方法
- mini2440 uboot使用nfs方式引导内核,文件系统
- asp.net中使用Global.asax文件中添加应用出错代码,写入系统日志文件或数据库
- Hadoop 基本API 使用 -- 从HDFS文件系统 上读取文件
- 直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件
- 使用RMAN迁移文件系统数据库到ASM
- Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
- Hadoop文件系统访问的两种方式
- 使用seek()方法,将Hadoop文件系统中的一个文件在标准输出上显示两次
- asp.net中使用Global.asax文件中添加应用出错代码,写入系统日志文件或数据库