使用mmap实现文件的拷贝
2011-09-09 14:53
344 查看
原文地址:点击打开链接
今天看csapp看到了虚拟存储器的映射以及mmap函数的用法,作为练习,使用mmap来实现文件的拷贝操作,同时与传统的文件拷贝操作进行了性能比较。
mmap与munmap函数介绍:
start: 最好从start开始的一个区域,这个是hint,具体映射结果还是要看返回结果
length: 映射区域的大小
prot: 映射区域的访问权限位 PROT_EXEC PROT_READ PROT_WRITE PROT_NONE
flags: 映射对象的类型 MAP_ANON MAP_PRIVATE MAP_SHARED
munmap函数删除映射区域
实验
分别使用了mmap函数和普通的read write实现了文件的复制拷贝,下面是通过复制50M的文件性能分析:
可以看到使用mmap的性能明显高于使用Read write的方式,这里主要原因是使用mmap减少了用户态和内核态间数据
的拷贝。
源码分析
今天看csapp看到了虚拟存储器的映射以及mmap函数的用法,作为练习,使用mmap来实现文件的拷贝操作,同时与传统的文件拷贝操作进行了性能比较。
mmap与munmap函数介绍:
#include <unistd.h> #include <sys/mman.h> void *mmap(void *start, size_t length, int prot, int flag, int fd, off_t offset); //返回:若成功时则返回映射区域的指针,若出错则为MAP_FAILED(-1)
start: 最好从start开始的一个区域,这个是hint,具体映射结果还是要看返回结果
length: 映射区域的大小
prot: 映射区域的访问权限位 PROT_EXEC PROT_READ PROT_WRITE PROT_NONE
flags: 映射对象的类型 MAP_ANON MAP_PRIVATE MAP_SHARED
munmap函数删除映射区域
#include <unistd.h> #include <sys/mman.h> int munmap(void *start, size_t length);
实验
分别使用了mmap函数和普通的read write实现了文件的复制拷贝,下面是通过复制50M的文件性能分析:
[yangguang@sim124 ~]$ time ./workspace/mmapcopy linux-20101214.tar.gz ./output real 0m0.100s user 0m0.034s sys 0m0.065s
[yangguang@sim124 ~]$ time ./workspace/copy linux-20101214.tar.gz ./output real 0m5.016s user 0m0.000s sys 0m0.124s
可以看到使用mmap的性能明显高于使用Read write的方式,这里主要原因是使用mmap减少了用户态和内核态间数据
的拷贝。
源码分析
/* * Author: liyangguang <liyangguang@software.ict.ac.cn> * http://www.yaronspace.cn/blog * * File: mmapcopy.c * Create Date: 2011-07-04 21:02:48 * */ #include <stdio.h> #include <sys/mman.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <string.h> #include <errno.h> void mmapcopy(int src_fd, size_t src_len, int dst_fd) { void *src_ptr, *dst_ptr; src_ptr = mmap(NULL, src_len, PROT_READ, MAP_PRIVATE, src_fd, 0); dst_ptr = mmap(NULL, src_len, PROT_WRITE | PROT_READ, MAP_SHARED, dst_fd, 0); if (dst_ptr == MAP_FAILED) { printf("mmap error:%s\n", strerror(errno)); return; } memcpy(dst_ptr, src_ptr, src_len); munmap(src_ptr, src_len); munmap(dst_ptr, src_len); } int main(int argc, char* argv[]) { if (argc != 3) { printf("Usage: %s <src_file> <dst_file>\n", argv[0]); return -1; } int src_fd = open(argv[1], O_RDONLY); int dst_fd = open(argv[2], O_RDWR | O_CREAT | O_TRUNC);; struct stat stat; fstat(src_fd, &stat); truncate(argv[2], stat.st_size); mmapcopy(src_fd, stat.st_size, dst_fd); close(src_fd); close(dst_fd); return 0; }
/* * Author: liyangguang <liyangguang@software.ict.ac.cn> * http://www.yaronspace.cn/blog * * File: copy.c * Create Date: 2011-07-04 21:38:00 * */ #include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <string.h> #include <errno.h> #include <unistd.h> void copy(int src_fd, int dst_fd) { char buffer[1024*1024]; char *ptr = buffer; size_t nread, nwrite, nremain; while ((nread = read(src_fd, ptr, 1024*1024)) > 0) { nremain = nread; while (nremain > 0){ nwrite = write(dst_fd, ptr, nremain); nremain -= nwrite; ptr = ptr + nwrite; } ptr = buffer; } } int main(int argc, char* argv[]) { if (argc != 3) { printf("Usage: %s <src_file> <dst_file>\n", argv[0]); return -1; } int src_fd = open(argv[1], O_RDONLY); int dst_fd = open(argv[2], O_RDWR | O_CREAT | O_TRUNC, S_IRWXU);; copy(src_fd, dst_fd); close(src_fd); close(dst_fd); return 0; } /* vim: set ts=4 sw=4: */
相关文章推荐
- 使用mmap()和使用 read()write()实现文件拷贝的对比
- 使用mmap实现文件映射
- Python基础——文件拷贝(从手动实现到shutil的使用)
- 使用pscp实现Windows 和 Linux服务器间远程拷贝文件
- 使用文件流(FileStream)实现大文件的拷贝
- 【C语言】没事可以试试这个小程序,使用文件操作,模拟实现一个简单的文件拷贝工具!
- (10) Linux ----- 使用pscp实现Windows 和 Linux服务器间远程拷贝文件
- 利用mmap实现文件拷贝
- Windows编程_Lesson004_项目预备_异步IO操作(使用IOCP实现大文件拷贝的项目)
- 使用进程池进行大批量文件拷贝实现(Python)
- mmap的使用之两个进程通过映射普通文件实现共享内存通信
- Linux使用expect实现远程拷贝文件
- 利用mmap函数实现多进程文件拷贝
- 使用FileStream文件流实现大文件的拷贝
- python使用paramiko实现远程拷贝文件的方法
- 使用4个线程拷贝一个文件,实现断点下载。比如:这个文件500M,分四段下载。
- 使用mmap实现一个文件输出函数
- mmap实现多进程对大文件拷贝
- 使用pscp实现Windows 和 Linux服务器间远程拷贝文件
- 使用IO流实现对特殊文件及文件夹中文件拷贝到指定文件中