您的位置:首页 > 运维架构 > Linux

揭开Linux操作系统的Swap交换区之谜

2016-07-04 02:59 741 查看
揭开Linux操作系统的Swap交换区之谜

Swap,即交换区,除了安装Linux的时候,有多少人关心过它呢?其实,Swap的调整对Linux服务器,特别是Web服务器的性能至关重要。通过调整Swap,有时可以越过系统性能瓶颈,节省系统升级费用。

  Swap的原理是一个较复杂的问题,需要大量的篇幅来说明。在这里只作简单的介绍,在以后的文章中将和大家详细讨论Swap实现的细节。

  众所周知,现代操作系统都实现了“虚拟内存”这一技术,不但在功能上突破了物理内存的限制,使程序可以操纵大于实际物理内存的空间,更重要的是,“虚拟内存”是隔离每个进程的安全保护网,使每个进程都不受其它程序的干扰。

  Swap空间的作用可简单描述为:当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序,这些被释放的空间被临时保存到Swap空间中,等到那些程序要运行时,再从Swap中恢复保存的数据到内存中。这样,系统总是在物理内存不够时,才进行Swap交换。

  计算机用户会经常遇这种现象。例如,在使用Windows系统时,可以同时运行多个程序,当你切换到一个很长时间没有理会的程序时,会听到硬盘“哗哗”直响。这是因为这个程序的内存被那些频繁运行的程序给“偷走”了,放到了Swap区中。因此,一旦此程序被放置到前端,它就会从Swap区取回自己的数据,将其放进内存,然后接着运行。

  需要说明一点,并不是所有从物理内存中交换出来的数据都会被放到Swap中(如果这样的话,Swap就会不堪重负),有相当一部分数据被直接交换到文件系统。例如,有的程序会打开一些文件,对文件进行读写(其实每个程序都至少要打开一个文件,那就是运行程序本身),当需要将这些程序的内存空间交换出去时,就没有必要将文件部分的数据放到Swap空间中了,而可以直接将其放到文件里去。如果是读文件操作,那么内存数据被直接释放,不需要交换出来,因为下次需要时,可直接从文件系统恢复;如果是写文件,只需要将变化的数据保存到文件中,以便恢复。但是那些用malloc和new函数生成的对象的数据则不同,它们需要Swap空间,因为它们在文件系统中没有相应的“储备”文件,因此被称作“匿名”(Anonymous)内存数据。这类数据还包括堆栈中的一些状态和变量数据等。所以说,Swap空间是“匿名”数据的交换空间。

  突破128M Swap限制

  经常看到有些Linux(国内汉化版)安装手册上有这样的说明:Swap空间不能超过128M。为什么会有这种说法?在说明“128M”这个数字的来历之前,先给问题一个回答:现在根本不存在128M的限制!现在的限制是2G!

  Swap空间是分页的,每一页的大小和内存页的大小一样,方便Swap空间和内存之间的数据交换。旧版本的Linux实现Swap空间时,用Swap空间的第一页作为所有Swap空间页的一个“位映射”(Bit map)。这就是说第一页的每一位,都对应着一页Swap空间。如果这一位是1,表示此页Swap可用;如果是0,表示此页是坏块,不能使用。这么说来,第一个Swap映射位应该是0,因为,第一页Swap是映射页。另外,最后10个映射位也被占用,用来表示Swap的版本(原来的版本是Swap_space ,现在的版本是swapspace2)。那么,如果说一页的大小为s,这种Swap的实现方法共能管理“8 * ( s - 10 ) - 1”个Swap页。对于i386系统来说s=4096,则空间大小共为133890048,如果认为1 MB=2^20 Byte的话,大小正好为128M。

  之所以这样来实现Swap空间的管理,是要防止Swap空间中有坏块。如果系统检查到Swap中有坏块,则在相应的位映射上标记上0,表示此页不可用。这样在使用Swap时,不至于用到坏块,而使系统产生错误。

  现在的系统设计者认为:

  1.现在硬盘质量很好,坏块很少。

  2.就算有,也不多,只需要将坏块罗列出来,而不需要为每一页建立映射。

  3.如果有很多坏块,就不应该将此硬盘作为Swap空间使用。

  于是,现在的Linux取消了位映射的方法,也就取消了128M的限制。直接用地址访问,限制为2G。

  Swap配置对性能的影响

  分配太多的Swap空间会浪费磁盘空间,而Swap空间太少,则系统会发生错误。 如果系统的物理内存用光了,系统就会跑得很慢,但仍能运行;如果Swap空间用光了,那么系统就会发生错误。例如,Web服务器能根据不同的请求数量衍生出多个服务进程(或线程),如果Swap空间用完,则服务进程无法启动,通常会出现“application is out of memory”的错误,严重时会造成服务进程的死锁。因此Swap空间的分配是很重要的。

通常情况下,Swap空间应大于或等于物理内存的大小,最小不应小于64M,通常Swap空间的大小应是物理内存的2-2.5倍。但根据不同的应用,应有不同的配置:如果是小的桌面系统,则只需要较小的Swap空间,而大的服务器系统则视情况不同需要不同大小的Swap空间。特别是数据库服务器和Web服务器,随着访问量的增加,对Swap空间的要求也会增加,具体配置参见各服务器产品的说明。

  另外,Swap分区的数量对性能也有很大的影响。因为Swap交换的操作是磁盘IO的操作,如果有多个Swap交换区,Swap空间的分配会以轮流的方式操作于所有的Swap,这样会大大均衡IO的负载,加快Swap交换的速度。如果只有一个交换区,所有的交换操作会使交换区变得很忙,使系统大多数时间处于等待状态,效率很低。用性能监视工具就会发现,此时的CPU并不很忙,而系统却慢。这说明,瓶颈在IO上,依靠提高CPU的速度是解决不了问题的。

  系统性能监视

  Swap空间的分配固然很重要,而系统运行时的性能监控却更加有价值。通过性能监视工具,可以检查系统的各项性能指标,找到系统性能的瓶颈。本文只介绍一下在Solaris下和Swap相关的一些命令和用途。

  最常用的是Vmstat命令(在大多数Unix平台下都有这样一些命令),此命令可以查看大多数性能指标。

  例如:

  



  命令说明:

  vmstat 后面的参数指定了性能指标捕获的时间间隔。3表示每三秒钟捕获一次。第一行数据不用看,没有价值,它仅反映开机以来的平均性能。从第二行开始,反映每三秒钟之内的系统性能指标。这些性能指标中和Swap有关的包括以下几项:

  procs下的w

  它表示当前(三秒钟之内)需要释放内存、交换出去的进程数量。

  memory下的swpd

  它表示使用的Swap空间的大小。

  Swap下的si,so

  si表示当前(三秒钟之内)每秒交换回内存(Swap in)的总量,单位为kbytes;so表示当前(三秒钟之内)每秒交换出内存(Swap out)的总量,单位为kbytes。

  以上的指标数量越大,表示系统越忙。这些指标所表现的系统繁忙程度,与系统具体的配置有关。系统管理员应该在平时系统正常运行时,记下这些指标的数值,在系统发生问题的时候,再进行比较,就会很快发现问题,并制定本系统正常运行的标准指标值,以供性能监控使用。

  另外,使用Swapon-s也能简单地查看当前Swap资源的使用情况。例如:



 能够方便地看出Swap空间的已用和未用资源的大小。

  应该使Swap负载保持在30%以下,这样才能保证系统的良好性能。

  有关Swap操作的系统命令

  增加Swap空间,分以下几步:

  1)成为超级用户

  $su - root

  2)创建Swap文件

  # dd if=/dev/zero of=swapfile bs=1024 count=65536

  创建一个有连续空间的交换文件。

  3)激活Swap文件

  #/usr/sbin/swapon swapfile

  swapfile指的是上一步创建的交换文件。 4)现在新加的Swap文件已经起作用了,但系统重新启动以后,并不会记住前几步的操作。因此要在/etc/fstab文件中记录文件的名字,和Swap类型,如:

  /path/swapfile none Swap sw,pri=3 0 0

  5)检验Swap文件是否加上

  /usr/sbin/swapon -s

  删除多余的Swap空间。

  1)成为超级用户

  2)使用Swapoff命令收回Swap空间。

  #/usr/sbin/swapoff swapfile

  3)编辑/etc/fstab文件,去掉此Swap文件的实体。

  4)从文件系统中回收此文件。

  #rm swapfile

  5)当然,如果此Swap空间不是一个文件,而是一个分区,则需创建一个新的文件系统,再挂接到原来的文件系统上。

linux如何获取每个进程使用了多少swap

一系统使用的swap比较多

[root@localhost ~]# free -m

total used free shared buffers cached

Mem: 3952 3905 47 0 417 1342

-/+ buffers/cache: 2145 1807

Swap: 6997 3599 3397

用free可以看到使用了3599M交换空间,接下来就想知道这些swap都被哪些进程使用了。刚开始用top来看,top->按f->按p,然后按空格退出,排一下序,看到结果如下:

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ SWAP COMMAND

32564 root 15 0 1789m 8192 1464 S 0.0 0.2 13:36.06 1.7g snmpd

22823 usr_zhan 18 0 1406m 38m 2216 S 0.0 1.0 39:40.26 1.3g Java

31687 oracle 18 0 1314m 16m 12m S 0.0 0.4 0:00.01 1.3g oracle

31689 oracle 18 0 1313m 15m 12m S 0.0 0.4 0:00.00 1.3g oracle

31667 oracle 15 0 1313m 16m 12m S 0.0 0.4 0:00.06 1.3g oracle

31665 oracle 15 0 1314m 17m 14m S 0.0 0.5 0:00.05 1.3g oracle

31854 oracle 15 0 1328m 32m 18m S 0.0 0.8 0:00.54 1.3g oracle

31856 oracle 15 0 1339m 45m 20m S 0.0 1.1 0:01.47 1.3g oracle

602 oracle 18 0 1313m 19m 16m S 0.0 0.5 0:00.02 1.3g oracle

31679 oracle 18 0 1313m 22m 19m S 0.0 0.6 0:00.01 1.3g oracle

31685 oracle 15 0 1313m 22m 19m S 0.0 0.6 0:00.04 1.3g oracle

31669 oracle 15 0 1313m 28m 24m S 0.0 0.7 0:00.06 1.3g oracle

31675 oracle 16 0 1314m 31m 27m S 0.0 0.8 0:08.74 1.3g oracle

31673 oracle 15 0 1328m 46m 42m S 0.0 1.2 0:02.38 1.3g oracle

604 oracle 15 0 1315m 40m 35m S 0.0 1.0 0:09.68 1.2g oracle

31681 oracle 15 0 1320m 50m 42m S 0.0 1.3 0:03.46 1.2g oracle

600 oracle 15 0 1315m 48m 43m S 0.0 1.2 0:01.21 1.2g oracle

16575 oracle 15 0 1315m 60m 56m S 0.0 1.5 0:03.92 1.2g oracle

31869 oracle 15 0 1316m 63m 58m S 0.0 1.6 0:01.26 1.2g oracle

606 oracle 15 0 1316m 66m 60m S 0.0 1.7 0:25.94 1.2g oracle

31683 oracle 15 0 1318m 80m 73m S 0.0 2.0 0:07.52 1.2g oracle

31677 oracle 15 0 1314m 97m 92m S 0.0 2.5 0:03.84 1.2g oracle

31671 oracle 15 0 1317m 126m 120m S 0.0 3.2 0:02.20 1.2g oracle

10497 root 18 0 974m 47m 1992 S 0.0 1.2 14:14.27 927m java

5841 root 21 0 1010m 118m 2116 S 0.0 3.0 17:28.41 891m java

使用swap最多的进程为snmp,用了1.7G,另外使用swap超过1G的还有20多个oracle进程。看了这个就知道这不是我想要的,不管top的SWAP列代表了什么,但肯定不会是代表了进程正在使用的swap数量。

google了下,看到可以用smaps文件来统计,smaps是系统内存接口特性文件,位于/proc/$PID/目录下,文件的内容是进程内存映像信息,如

[root@localhost ~]#cat /proc/22823/smaps

... ...

40108000-4010a000 rwxp 00008000 08:04 9142711 /usr/java/jdk1.6.0_11/bin/java

Size: 8 kB

Rss: 0 kB

Shared_Clean: 0 kB

Shared_Dirty: 0 kB

Private_Clean: 0 kB

Private_Dirty: 0 kB

Swap: 8 kB

... ...

在第一行中:

40108000-4010a000是虚拟内存段的开始和结束位置

rwxp内存段的权限,最后一位p代表私有,s代表共享

00008000该虚拟内存段在对应的映射文件中的偏移量

08:04文件的主设备和次设备号

9142711被映射到虚拟内存的文件的索引节点号

/usr/java/jdk1.6.0_11/bin/java被映射到虚拟内存的文件名称。后面带(deleted)的是内存数据,可以被销毁。

其它:

size 是进程使用内存空间,并不一定实际分配了内存(VSS)

Rss是实际分配的内存(不需要缺页中断就可以使用的)

Pss是平摊计算后的使用内存(有些内存会和其他进程共享,例如mmap进来的)

Shared_Clean 和其他进程共享的未改写页面

Shared_Dirty 和其他进程共享的已改写页面

Private_Clean 未改写的私有页面页面

Private_Dirty 已改写的私有页面页面

Swap 存在于交换分区的数据大小(如果物理内存有限,可能存在一部分在主存一部分在交换分区)

结果中可能还会有其它项,各项所代表的具体含义可以看http://www.kernel.org/doc/Documentation/filesystems/proc.txt

我需要的只是SWAP的数据大小,那么只要把smaps文件的所有swap加起来就可以了,这个也出了脚本,粗略改了下,可统计所有进程各自使用的swap或单个进程使用的swap:

----------------------------------------

#!/bin/bash

PID=${1:-[1-9]*}

total_swap=0

GetSwap () {

pid=$1

cmdline=$(cat /proc/$pid/cmdline 2>/dev/null|tr '' ' ')

pid_swap=$(awk 'BEGIN{total=0}/Swap/{total+=$2}END{print total}' /proc/$pid/smaps 2>/dev/null)

if [ "$pid_swap" != '' ] && [ "$pid_swap" -gt 0 ]; then

echo "PID=$pid – Swap used: $pid_swap Kb – ($cmdline)"

fi

}

cd /proc

for pid in $PID; do

GetSwap $pid

let total_swap+=$pid_swap

done

echo "Total swap: $total_swap Kb"

---------------------------------------

[root@localhost~]# ./getswap.sh

... 略 ...

PID=6235 – Swap used: 416 Kb – (-bash)

PID=631 – Swap used: 404 Kb – (-bash)

PID=6363 – Swap used: 416 Kb – (-bash)

PID=6496 – Swap used: 48 Kb – (tail-f/data/apps/msag/tomcat/logs/catalina.out.2011-08-05)

PID=6535 – Swap used: 2136 Kb – (/usr/libexec/gconfd-25)

PID=6544 – Swap used: 52 Kb – (tail-f/data/apps/msag/tomcat/logs/catalina.out.2011-08-04)

PID=743 – Swap used: 3956 Kb – (/home/oracle/oracle/product/10.2.0/db_2/perl/bin/perl/home/oracle/oracle/product/10.2.0/db_2/bin/emwd.pldbconsole/home/oracle/oracle/product/10.2.0/db_2/server_32_demo/sysman/log/emdb.nohup)

PID=7568 – Swap used: 204 Kb – (/bin/sh/usr/bin/mysqld_safe--datadir=/var/lib/MySQL--socket=/var/lib/mysql/mysql.sock--log-error=/var/log/mysqld.log--pid-file=/var/run/mysqld/mysqld.pid--user=mysql)

PID=7618 – Swap used: 19292 Kb – (/usr/libexec/mysqld--basedir=/usr--datadir=/var/lib/mysql--user=mysql--pid-file=/var/run/mysqld/mysqld.pid--skip-external-locking--socket=/var/lib/mysql/mysql.sock)

PID=8405 – Swap used: 336 Kb – (-bash)

PID=8505 – Swap used: 48 Kb – (tail-f/data/apps/msag/tomcat/logs/catalina.out.2010-04-27)

PID=8693 – Swap used: 2020 Kb – (/home/oracle/oracle/product/10.2.0/db_2/bin/tnslsnrLISTENER-inherit)

Total swap: 3318384 Kb

可以很清楚的看到每个进程使用的swap情况,只是总数和用free得出的结果比较还有出入,少了差不多300多M。然后还有一个问题是在一台oracle数据库中,swap用了差不多5G,但是在smaps文件中却找不到任何的swap使用记录,这个还不知道是什么原因。

顶0
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: