基于Hadoop开发网络云盘系统架构设计方案第一稿
2013-08-28 15:38
1456 查看
引言
云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。
一、总体架构
二、方案说明
2.1 系统切分
从用户角度,整个系统划分为ECDisk客户端、ECDisk运营管理平台、HDFS分布式文件存储集群和账户数据应用平台四部分。
2.2 功能需求
文件管理:浏览、文件上传、文件下载、文件删除
用户管理:用户注册、用户登录、用户注销、账户充值、账户查询
三、技术选型
3.1 HDFS服务接口
考虑到客户端开发环境为VC++2010,HDFS客户端API采用Hadoop自身提供的Thrift接口。
3.2 用户数据库
用户数据库存储用户的账户信息,保留在MySQL数据库中。
3.3 内存数据库
为提高用户账户信息访问速度,所有当前在线用户(已登录)的账户数据都缓存到内存数据库中,内存数据库选用基于Erlang实现的Menisa。
四、设计原则
4.1 隐藏暴露原则
面向ECDisk用户只能直接访问用户数据应用服务器,HDFS服务器资源用户登录后,由用户数据服务器返回给ECDisk客户端。
4.2 授权原则
ECDisk终端用户只能访问授权用户设定的空间,超出空间限制不允许访问。
五、界面原型
本文出自 “Hadoop” 博客,请务必保留此出处http://hadoop2.blog.51cto.com/231426/1284388
云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。
一、总体架构
二、方案说明
2.1 系统切分
从用户角度,整个系统划分为ECDisk客户端、ECDisk运营管理平台、HDFS分布式文件存储集群和账户数据应用平台四部分。
2.2 功能需求
文件管理:浏览、文件上传、文件下载、文件删除
用户管理:用户注册、用户登录、用户注销、账户充值、账户查询
三、技术选型
3.1 HDFS服务接口
考虑到客户端开发环境为VC++2010,HDFS客户端API采用Hadoop自身提供的Thrift接口。
3.2 用户数据库
用户数据库存储用户的账户信息,保留在MySQL数据库中。
3.3 内存数据库
为提高用户账户信息访问速度,所有当前在线用户(已登录)的账户数据都缓存到内存数据库中,内存数据库选用基于Erlang实现的Menisa。
四、设计原则
4.1 隐藏暴露原则
面向ECDisk用户只能直接访问用户数据应用服务器,HDFS服务器资源用户登录后,由用户数据服务器返回给ECDisk客户端。
4.2 授权原则
ECDisk终端用户只能访问授权用户设定的空间,超出空间限制不允许访问。
五、界面原型
本文出自 “Hadoop” 博客,请务必保留此出处http://hadoop2.blog.51cto.com/231426/1284388
相关文章推荐
- 基于Hadoop开发网络云盘系统架构设计方案第一稿
- 基于Hadoop开发网络云盘系统架构设计方案第一稿
- 基于Hadoop开发网络云盘系统架构设计方案
- 基于Hadoop开发网络云盘系统客户端界面设计初稿
- 基于Hadoop开发网络云盘系统客户端界面设计初稿
- 基于Hadoop开发网络云盘系统客户端界面设计初稿
- 从架构设计到系统实施-基于.NET 3.0的全新企业应用之开发基于MMC 3.0的管理工具
- 基于BBB的4轮移动轮式机器人系统设计与实现(六)--网络通信类的开发
- 从架构设计到系统实施-基于.NET 3.0的全新企业应用之开发Vista边栏应用
- 网络应用系统---系统设计架构示例
- Android架构分析之基于Android系统的C应用程序开发
- 基于消息系统架构设计
- [课程设计]Scrum 3.7 多鱼点餐系统开发进度(留言板选择方案)
- 第06章 软件架构设计 之 基于架构的软件开发方法
- 架构设计:系统存储(4)——块存储方案(4)
- 基于BBB的4轮移动轮式机器人系统设计与实现(四)--BeagleBone Black PWM 应用程序开发
- 基于智能卡的嵌入式网络加密安全系统设计
- 基于ActiveMQ的消息中间件系统逻辑与物理架构设计详解
- 从架构设计到系统实施-基于.NET 3.0的全新企业应用之设计基于WPF的客户端
- 系统开发管理、架构与设计步步谈随笔索引