2021-2-25:对于 Java MMAP,如何查看文件映射脏页,如何统计MMAP的内存大小?
2021-02-25 08:21
686 查看
我们写一个测试程序:
public static void main(String[] args) throws Exception { RandomAccessFile randomAccessFile = new RandomAccessFile("./FileMmapTest.txt", "rw"); FileChannel channel = randomAccessFile.getChannel(); MappedByteBuffer []mappedByteBuffers = new MappedByteBuffer[5]; //开5个相同文件的MappedByteBuffer,但是实际机器内存只有8G mappedByteBuffers[0] = channel.map(FileChannel.MapMode.READ_WRITE, 0, 2 * 1024 * 1024 * 1024 - 1); mappedByteBuffers[1] = channel.map(FileChannel.MapMode.READ_WRITE, 0, 2 * 1024 * 1024 * 1024 - 1); mappedByteBuffers[2] = channel.map(FileChannel.MapMode.READ_WRITE, 0, 2 * 1024 * 1024 * 1024 - 1); mappedByteBuffers[3] = channel.map(FileChannel.MapMode.READ_WRITE, 0, 2 * 1024 * 1024 * 1024 - 1); mappedByteBuffers[4] = channel.map(FileChannel.MapMode.READ_WRITE, 0, 2 * 1024 * 1024 * 1024 - 1); for (int j = 0; j < 2*1024*1024*1024 - 1; j++) { mappedByteBuffers[0].put("a".getBytes()); } TimeUnit.SECONDS.sleep(1); byte []to = new byte[1]; for (int j = 0; j < 2*1024*1024*1024 - 1; j++) { mappedByteBuffers[1].get(to); mappedByteBuffers[2].get(to); mappedByteBuffers[3].get(to); mappedByteBuffers[4].get(to); } while(true) { TimeUnit.SECONDS.sleep(1); } }
等到程序运行到最后的死循环的时候,我们来看top -c的结果:
KiB Mem : 7493092 total, 147876 free, 3891680 used, 3453536 buff/cache KiB Swap: 0 total, 0 free, 0 used. 2845100 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ 25458 zhangha+ 20 0 14.147g 8.840g 8.599g S 0.0 124 2:33.16 java
可以观察到非常有意思的现象,这个进程占用了124%的内存,实际上Swap为0。总占用也没到100%。这是为什么呢?
我们来看下这个进程的smaps文件,这里进程号是25485,我们映射的文件是FileMmapTest.txt:
$ grep -A 11 FileMmapTest.txt /proc/25458/smaps 7fa870000000-7fa8f0000000 rw-s 00000000 ca:01 25190272 /home/zhanghaoxin/FileMmapTest.txt Size: 2097152 kB Rss: 2097152 kB Pss: 493463 kB Shared_Clean: 2097152 kB Shared_Dirty: 0 kB Private_Clean: 0 kB Private_Dirty: 0 kB Referenced: 2014104 kB Anonymous: 0 kB AnonHugePages: 0 kB Swap: 0 kB -- 7fa8f0000000-7fa970000000 rw-s 00000000 ca:01 25190272 /home/zhanghaoxin/FileMmapTest.txt Size: 2097152 kB Rss: 2097152 kB Pss: 493463 kB Shared_Clean: 2097152 kB Shared_Dirty: 0 kB Private_Clean: 0 kB Private_Dirty: 0 kB Referenced: 2014104 kB Anonymous: 0 kB AnonHugePages: 0 kB Swap: 0 kB -- 7fa970000000-7fa9f0000000 rw-s 00000000 ca:01 25190272 /home/zhanghaoxin/FileMmapTest.txt Size: 2097152 kB Rss: 2097152 kB Pss: 493463 kB Shared_Clean: 2097152 kB Shared_Dirty: 0 kB Private_Clean: 0 kB Private_Dirty: 0 kB Referenced: 2014104 kB Anonymous: 0 kB AnonHugePages: 0 kB Swap: 0 kB -- 7fa9f0000000-7faa70000000 rw-s 00000000 ca:01 25190272 /home/zhanghaoxin/FileMmapTest.txt Size: 2097152 kB Rss: 2097152 kB Pss: 493463 kB Shared_Clean: 2097152 kB Shared_Dirty: 0 kB Private_Clean: 0 kB Private_Dirty: 0 kB Referenced: 2014104 kB Anonymous: 0 kB AnonHugePages: 0 kB Swap: 0 kB -- 7faa70000000-7faaf0000000 rw-s 00000000 ca:01 25190272 /home/zhanghaoxin/FileMmapTest.txt Size: 2097152 kB Rss: 616496 kB Pss: 123299 kB Shared_Clean: 616496 kB Shared_Dirty: 0 kB Private_Clean: 0 kB Private_Dirty: 0 kB Referenced: 616492 kB Anonymous: 0 kB AnonHugePages: 0 kB Swap: 0 kB
其中比较重要的8个字段的含义分别如下:
- Size:表示该映射区域在虚拟内存空间中的大小。
- Rss:表示该映射区域当前在物理内存中占用了多少空间
- Pss:该虚拟内存区域平摊计算后使用的物理内存大小(有些内存会和其他进程共享,例如mmap进来的)。比如该区域所映射的物理内存部分同时也被另一个进程映射了,且该部分物理内存的大小为1000KB,那么该进程分摊其中一半的内存,即Pss=500KB。
- Shared_Clean:和其他进程共享的未被改写的page的大小
- Shared_Dirty: 和其他进程共享的被改写的page的大小
- Private_Clean:未被改写的私有页面的大小。
- Private_Dirty: 已被改写的私有页面的大小。
- Swap:表示非mmap内存(也叫anonymous memory,比如malloc动态分配出来的内存)由于物理内存不足被swap到交换空间的大小。
我们可以看到,把这五个MappedByteBuffer的Pss加起来正好是2097151,就是我们映射的大小。可以推断出,我们这五个MappedByteBuffer在linux中的实现就是对应同一块内存。
同时,top命令看到的内存并不准,top,命令统计的是RSS字段,其实对于MMAP来说,更准确的应该是统计PSS字段
微信搜索“我的编程喵”关注公众号,每日一刷,轻松提升技术,斩获各种offer:
相关文章推荐
- 如何查看Java对象占用JVM内存大小
- Linux内存管理之mmap详解 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上,如果文件的大小不是所有页的大小之和,
- python 5-4 如何将文件映射到内存mmap.mmap(f.fileno(),0,access=mmap.ACCESS_WRITE)
- 如何查看java对象所占的内存大小
- linux下统计当前文件夹中文件的数目以及如何查看文件夹的大小
- Java如何查看数据库文件大小(oracle,mysql,sqlserver)
- Linux:centos释放缓存,查看磁盘空间大小,xxx文件夹, 查看文件夹大小,查看剩余内存,查看xxx软件位置,统计某文件夹,统计某文件夹下目录数量,查看文件夹大小,给文件夹下所有的文件赋值权限
- 【如何查看java对象所占的内存大小】
- Linux下查看cpu类型、内存大小、硬盘大小类型和文件系统大小等
- MyEclipse中如何改变.java文件和.html等网页文件的字体大小
- java_croe 学习笔记之新IO---java.nio 之内存映射文件
- java开发中如何获取远程文件的大小
- LoadRunner中如何验证下载的文件大小、统计下载时间、度量下载速度?
- 如何通过反编译工具与插件 查看java *.class 文件源码
- Mongodb源码分析--内存文件映射(MMAP)
- java实现文件名,路径,日期,文件大小的统计并存入数据库
- JAVA NIO之浅谈内存映射文件原理与DirectMemory
- linux 如何查看硬盘大小,内存大小等系统信息及硬件信息
- JAVA NIO之浅谈内存映射文件原理与DirectMemory
- lzop如何查看文件大小