【架构设计】分布式文件系统 FastDFS的原理和安装使用
2016-12-21 23:35
351 查看
本文地址
分享提纲:
1.概述
2. 原理
3. 安装
4. 使用
5. 参考文档
Google了一下,流行的开源分布式文件系统有很多,介绍如下:
-- mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多。
-- fastDFS:国人 余庆老师(GitHub)在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mogileFS更好的性能。
-- mooseFS:支持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,国内用的人比较多
-- glusterFS:支持FUSE,比mooseFS庞大
-- ceph:支持FUSE,客户端已经进入了linux-2.6.34内核,也就是说可以像ext3/rasierFS一样,选择ceph为文件系统。彻底的分布式,没有单点依赖,用C编写,性能较好。基于不成熟的btrfs,其本身也非常不成熟。
-- lustre:Oracle公司的企业级产品,非常庞大,对内核和ext3深度依赖
-- NFS:老牌网络文件系统,具体不了解,反正NFS最近几年没发展,肯定不能用
1.2)【fastDFS】
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
具体参见: 分布式文件系统FastDFS设计原理
FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
Tracker Server: 跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server
和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。
Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。
Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。
具体使用
5.2) 分布式文件系统FastDFS设计原理
5.3) FastDFS 安装及使用
5.4) 【好】 分布式文件系统 - FastDFS 配置 Nginx 模块及上传测试
分享提纲:
1.概述
2. 原理
3. 安装
4. 使用
5. 参考文档
1. 概述
1.1)【常见文件系统】
Google了一下,流行的开源分布式文件系统有很多,介绍如下:
-- mogileFS:Key-Value型元文件系统,不支持FUSE,应用程序访问它时需要API,主要用在web领域处理海量小图片,效率相比mooseFS高很多。
-- fastDFS:国人 余庆老师(GitHub)在mogileFS的基础上进行改进的key-value型文件系统,同样不支持FUSE,提供比mogileFS更好的性能。
-- mooseFS:支持FUSE,相对比较轻量级,对master服务器有单点依赖,用perl编写,性能相对较差,国内用的人比较多
-- glusterFS:支持FUSE,比mooseFS庞大
-- ceph:支持FUSE,客户端已经进入了linux-2.6.34内核,也就是说可以像ext3/rasierFS一样,选择ceph为文件系统。彻底的分布式,没有单点依赖,用C编写,性能较好。基于不成熟的btrfs,其本身也非常不成熟。
-- lustre:Oracle公司的企业级产品,非常庞大,对内核和ext3深度依赖
-- NFS:老牌网络文件系统,具体不了解,反正NFS最近几年没发展,肯定不能用
1.2)【fastDFS】
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
2. 原理
2.1)【三个角色】具体参见: 分布式文件系统FastDFS设计原理
FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
Tracker Server: 跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server
和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。
Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。
Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。
1、上传文件 FastDFS安装包中,自带了客户端程序,通过程序可以进行文件上传。在使用这个客户端程序之前,首先需要配置client.conf,然后再进行文件上传及下载。 在tracker上修改客户端配置文件client.conf vim /etc/fdfs/client.conf base_path=/data/fastdfs tracker_server=192.168.1.5:22122 vim a.html This Is FastDFS Test. 上传文件 /usr/local/bin/fdfs_test /etc/fdfs/client.conf upload a.html This is FastDFS client test program v3.06 Copyright (C) 2008, Happy Fish / YuQing FastDFS may be copied only under the terms of the GNU General Public License V3, which may be found in the FastDFS source kit. Please visit the FastDFS Home Page http://www.csource.org/ for more detail. [2012-04-29 12:42:53] INFO - base_path=/data/tracker, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0 tracker_query_storage_store_list_without_group: server 1. group_name=group1, ip_addr=192.168.1.51, port=23000 server 2. group_name=group1, ip_addr=192.168.1.52, port=23000 group_name=group1, ip_addr=192.168.1.51, port=23000 storage_upload_by_filename group_name=group1, remote_filename=M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90.html source ip address: 192.168.1.51 file timestamp=2012-04-29 12:42:53 file size=14 file crc32=674197143 file url: http://192.168.1.5/group1/M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90.html storage_upload_slave_by_filename group_name=group1, remote_filename=M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html source ip address: 192.168.1.51 file timestamp=2012-04-29 12:42:53 file size=14 file crc32=674197143 file url: http://192.168.1.5/group1/M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html 上传成功 试试用 http://192.168.1.51/M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html 访问看看吧。
具体使用
5. 参考文档
5.1) 分布式文件系统 - FastDFS 简单了解一下5.2) 分布式文件系统FastDFS设计原理
5.3) FastDFS 安装及使用
5.4) 【好】 分布式文件系统 - FastDFS 配置 Nginx 模块及上传测试
相关文章推荐
- 分布式架构学习之:FastDFS分布式文件系统的Linux安装与使用(单节点)
- 分布式架构学习之:017--FastDFS分布式文件系统的安装与使用(单节点)
- 分布式文件系统FastDFS设计原理及技术架构
- Dubbo分布式架构实战--FastDFS分布式文件系统的安装与使用(单节点)
- 架构设计:系统间通信(21)——ActiveMQ的安装与使用
- Ubuntu Linux下FastDFS分布式文件系统的安装、配置与初步使用
- 分布式文件系统FastDFS设计原理
- 分布式文件系统FastDFS设计原理
- 架构设计:系统存储(15)——Redis基本概念和安装使用
- 分布式文件系统FastDFS设计原理
- 分布式文件系统FastDFS设计原理
- 分布式文件系统FastDFS设计原理
- 高性能网站架构设计之缓存篇(1)- Redis的安装与使用
- FastDFS分布式文件系统安装与使用(单节点)
- FastDFS分布式文件系统安装与使用(单节点)
- 分布式文件系统FastDFS设计原理
- 分布式文件系统研究-FastDFS设计原理 (四i)
- 轻量级分布式文件系统FastDFS使用安装说明手册(新手入门级)
- 分布式文件系统FastDFS设计原理
- 分布式文件系统FastDFS设计原理