使用linux内存HugePages优化oracle内存区
2015-09-12 11:47
751 查看
HugePages是在Linux2.6内核被引入的,主要提供4k的page和比较大的page的选择。
huggepages可以看作系统内存的特殊区域,因为它有如下特点,可以把这块分配给SGA(HugePages和oracle AMM(自动内存管理)是互斥的,所以使用HugePages必须设置内存参数MEMORY_TARGET / MEMORY_MAX_TARGET 为0)
1.系统启动时,直接分配并保留对应大小的内存区域。
2. HugePages 在开机之后,如果没有管理员的介入,是不会释放和改变的。
3. 没有swap。
由于huggepages以上特点,好处如下
1. 大大提高了CPU cache中存放的page table所覆盖的内存大小,从而提高了TLB命中率。
进程的虚拟内存地址段先连接到page table然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系,然后再访问物理内存。
CPU cache中有一部分TLB用来存放部分page table以提高这种转换的速度。因为page size变大了,所以同样大小的TLB,所覆盖的内存大小也变大了。提高了TLB命中率,也提高了地址转换的速度。
2. 减轻page table的负载。
进行XXX系统性能测试时,如果没有使用HugePages,数据库服务器上的pagetable大小大约为5G(这应该也是导致性能测试时数据库服务器内存不足的主要原因):
node74:/home/Oracle # cat /proc/meminfo
MemTotal: 16323732 kB
PageTables:
5442384kB
配置了HugePages后,pagetable大小仅为124M(性能测试时内存使用率稳定在80%左右):
node74:/home/oracle # cat /proc/meminfo
MemTotal: 16323732 kB
PageTables:
127384 kB
Eliminated page tablelookup overhead: 因为hugepage是不swappable的,所有就没有page table lookups。
Faster overall memory performance: 由于虚拟内存需要两步操作才能实际对应到物理内存地址,因此更少的pages,减轻了page table访问热度,避免了page table热点瓶颈问题。
SGA的每个会话都要pte,hugepages可以大大减少page开销
3. 提高内存的性能,降低CPU负载,原理同上
4.SGA固定在hugepages,不会使用swap
cat /proc/meminfo
HugePages_Total为所分配的页面数目,和Hugepagesize相乘后得到所分配的内存大小。4611*2/1024大约为9GB
HugePages_Free为从来没有被使用过的Hugepages数目。即使oraclesga已经分配了这部分内存,但是如果没有实际写入,那么看到的还是Free的。这是很容易误解的地方。
HugePages_Rsvd为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时,大部分内存应该都是Reserved并且Free的,随着oracle SGA的使用,Reserved和Free都会不断的降低。
HugePages_Free-HugePages_Rsvd 这部分是没有被使用到的内存,如果没有其他的oracle instance,这部分内存也许永远都不会被使用到,也就是被浪费了。
可以手工计算:
nr_hugepages>=SGA_Target/Hugepagesize
=9G*1024M/2M
=4608
取一个比4608稍大的值即可
总结
需要设置hugepages的数据库特征如下
前台响应缓慢或者新连接无法建立时,CPU占用率并不高,但是奇怪的是有一个系统进程kswapd0占据了单核CPU的100%,其它进程的CPU占用率都控制在单核的各位数;
通过free命令来查看剩余内存,发现所剩的内存已经不多,通过sar -B和vmstat查看发现有较为严重的page in和page out。
问题发生时刻,连接数有一定程度的增加,但是基本都是呈缓慢线性的方式增加,没有剧增的情况。从oracle进程来看,每个连接占的CPU和内存资源都差不多;
从/proc/meminfo来看,页表占用了内存的绝大部分;
操作系统重启的时候,在/var/logs/message中有类似的信息:
设置步骤:1先调整好SGA,PGA
2/etc/security/limits.conf
加入
lock_value略大于SGA
3计算vm.nr_hugepages,加入到/etc/sysctl.conf
什么时候需要使用pugepages?太小的SGA没有必要,一般是SGA超过30G时做调整,pagesize默认2M
概念 | 概念说明 |
page table | page table是操作系统上的虚拟内存系统的数据结构模型,用于存储虚拟地址与物理地址的对应关系。 当我们访问内存时,首先访问page table,然后Linux在通过page table的mapping来访问真实物理内存(ram+swap) |
TLB | A Translation Lookaside Buffer (TLB) TLB是在cpu中分配的一个固定大小的buffer(or cache),用于保存page table的部分内容,使CPU更快的访问并进行地址转换。 |
hugetlb | hugetlb 是记录在TLB 中的条目并指向Hugepages。 |
hugetlbfs | 这是一个新的基于2.6 kernel之上的内存文件系统,如同tmpfs。 在TLB中通过hugetlb来指向hugepage。这些被分配的hugepage作为内存文件系统hugetlbfs(类似tmpfs)提供给进程使用。 |
1.系统启动时,直接分配并保留对应大小的内存区域。
2. HugePages 在开机之后,如果没有管理员的介入,是不会释放和改变的。
3. 没有swap。
由于huggepages以上特点,好处如下
1. 大大提高了CPU cache中存放的page table所覆盖的内存大小,从而提高了TLB命中率。
进程的虚拟内存地址段先连接到page table然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系,然后再访问物理内存。
CPU cache中有一部分TLB用来存放部分page table以提高这种转换的速度。因为page size变大了,所以同样大小的TLB,所覆盖的内存大小也变大了。提高了TLB命中率,也提高了地址转换的速度。
2. 减轻page table的负载。
进行XXX系统性能测试时,如果没有使用HugePages,数据库服务器上的pagetable大小大约为5G(这应该也是导致性能测试时数据库服务器内存不足的主要原因):
node74:/home/Oracle # cat /proc/meminfo
MemTotal: 16323732 kB
PageTables:
5442384kB
配置了HugePages后,pagetable大小仅为124M(性能测试时内存使用率稳定在80%左右):
node74:/home/oracle # cat /proc/meminfo
MemTotal: 16323732 kB
PageTables:
127384 kB
Eliminated page tablelookup overhead: 因为hugepage是不swappable的,所有就没有page table lookups。
Faster overall memory performance: 由于虚拟内存需要两步操作才能实际对应到物理内存地址,因此更少的pages,减轻了page table访问热度,避免了page table热点瓶颈问题。
SGA的每个会话都要pte,hugepages可以大大减少page开销
3. 提高内存的性能,降低CPU负载,原理同上
4.SGA固定在hugepages,不会使用swap
cat /proc/meminfo
HugePages_Total为所分配的页面数目,和Hugepagesize相乘后得到所分配的内存大小。4611*2/1024大约为9GB
HugePages_Free为从来没有被使用过的Hugepages数目。即使oraclesga已经分配了这部分内存,但是如果没有实际写入,那么看到的还是Free的。这是很容易误解的地方。
HugePages_Rsvd为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时,大部分内存应该都是Reserved并且Free的,随着oracle SGA的使用,Reserved和Free都会不断的降低。
HugePages_Free-HugePages_Rsvd 这部分是没有被使用到的内存,如果没有其他的oracle instance,这部分内存也许永远都不会被使用到,也就是被浪费了。
可以手工计算:
nr_hugepages>=SGA_Target/Hugepagesize
=9G*1024M/2M
=4608
取一个比4608稍大的值即可
Huge pages sizes
Architecture | huge page size |
arm64 | 4K, 2M and 1G (or 64K and 512M if one builds their own kernel with CONFIG_ARM64_64K_PAGES=y) |
i386 | 4K and 4M (2M in PAE mode) |
ia64 | 4K, 8K, 64K, 256K, 1M, 4M, 16M, 256M |
ppc64 | 4K and 16M |
需要设置hugepages的数据库特征如下
前台响应缓慢或者新连接无法建立时,CPU占用率并不高,但是奇怪的是有一个系统进程kswapd0占据了单核CPU的100%,其它进程的CPU占用率都控制在单核的各位数;
通过free命令来查看剩余内存,发现所剩的内存已经不多,通过sar -B和vmstat查看发现有较为严重的page in和page out。
问题发生时刻,连接数有一定程度的增加,但是基本都是呈缓慢线性的方式增加,没有剧增的情况。从oracle进程来看,每个连接占的CPU和内存资源都差不多;
从/proc/meminfo来看,页表占用了内存的绝大部分;
操作系统重启的时候,在/var/logs/message中有类似的信息:
设置步骤:1先调整好SGA,PGA
2/etc/security/limits.conf
加入
oracle hard memlock lock_value oracle soft memlock lock_value
lock_value略大于SGA
3计算vm.nr_hugepages,加入到/etc/sysctl.conf
什么时候需要使用pugepages?太小的SGA没有必要,一般是SGA超过30G时做调整,pagesize默认2M
相关文章推荐
- Oracle中的PLsql的符号解释大全
- Oracle 分页存储过程
- 安装oracle10g 出现oui.exe停止工作错误
- 查询表上的约束
- Oracle基本概念
- oracle中lock和latch的用途
- oracle中awr性能报告阅读笔记
- Redhat Enterprise Linux6.5 静默安装 Oracle 11gR2 RAC
- PL/SQL联系oracle成功可以sql解决的办法是检查表的名称无法显示
- Oracle sql 优化の常用方式
- oracle新建用户及授权
- 解决X64操作系统PL/SQL连接报错问题 make sure you have the 32 bits oracle client installed
- Oracle触发器创建自增主键
- oracle中删除表空间提示ORA-00604和ORA-38301
- 下载安装oracle11g
- oracle错误-ORA-12519, TNS:no appropriate service handler found
- 关于Oracle 12c 和 odbc的一点注意。
- Oracle错误 1053: 该服务没有响应启动或控制请求
- Oracle学习笔记20150911pl/sql编程
- 索引失效原因分类