nginx源码解析(二)-内存池与内存管理ngx_pool_t

ngx_pool_t是一个非常重要的数据结构，在很多重要的场合都有使用，很多重要的数据结构也都在使用它。那么它究竟是一个什么东西呢？简单的说，它提供了一种机制，帮助管理一系列的资源（如内存，文件等），使得对这些资源的使用和释放统一进行，免除了使用过程中考虑到对各种各样资源的什么时候释放，是否遗漏了释放的担心。
例如对于内存的管理，如果我们需要使用内存，那么总是从一个ngx_pool_t的对象中获取内存，在最终的某个时刻，我们销毁这个ngx_pool_t对象，所有这些内存都被释放了。这样我们就不必要对对这些内存进行malloc和free的操作，不用担心是否某块被malloc出来的内存没有被释放。因为当ngx_pool_t对象被销毁的时候，所有从这个对象中分配出来的内存都会被统一释放掉。
注：笔者的nginx版本为1.10.1

一、数据结构定义

ngx_pool_t定义在[nginx源码目录]/src/core/ngx_palloc.h以及[nginx源码目录]/src/core/ngx_palloc.c，与之相关的头文件和源文件好包括[nginx源码目录]/src/os/unix/ngx_alloc.h以及ngx_alloc.c中。
struct ngx_pool_t { //内存池的管理分配模块
ngx_pool_data_t d; //内存池的数据块
size_t max; //数据块大小，可分配小块内存的最大值
ngx_pool_t *current; //指向当前或本内存池，以后的内存分配从该指针指向的内存池中分配
ngx_chain_t *chain; //该指针挂接一个ngx_chain_t结构
ngx_pool_large_t *large; //指向大块内存分配，nginx中，大块内存分配直接采用标准系统接口malloc
ngx_pool_cleanup_t *cleanup; //析构函数，挂载内存释放时需要清理资源的一些必要操作
ngx_log_t *log; //内存分配相关的日志记录
};
其中内存池的数据块ngx_pool_data_t的数据结构定义如下：
typedef struct { //内存池的数据结构模块
u_char *last; //当前内存分配结束位置，即下一段可分配内存的起始位置
u_char *end; //内存池的结束位置
ngx_pool_t *next; //链接到下一个内存池，内存池的很多块内存就是通过该指针连成链表的
ngx_uint_t failed; //记录内存分配不能满足需求的失败次数
} ngx_pool_data_t; //结构用来维护内存池的数据块

还有一个很重要的大块内存分配数据结构模块定义：
struct ngx_pool_large_t {
ngx_pool_large_t *next; //指向下一个大内存块
void *alloc; //实际利用malloc分配得到的内存的首地址
};

大致数据结构图示如下：

二、内存管理解析

内存的创建、销毁和重置
2.1 创建内存块
ngx_pool_t *
ngx_create_pool(size_t size, ngx_log_t *log)
{
ngx_pool_t *p;

p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log); //ngx_memlign定义在ngx_alloc.h中，主要用于分配16字节边界对其的的内存块，返回指向该内存块的指针
if (p == NULL) { //NGC_POOL_ALIGNMENT定义为16
return NULL;
}

p->d.last = (u_char *) p + sizeof(ngx_pool_t); //d.last指向当前已经分配的内存的末端地址，即下一个可以分配内存的首地址
p->d.end = (u_char *) p + size; //指向当前内存池地址的末尾
p->d.next = NULL;
p->d.failed = 0;

size = size - sizeof(ngx_pool_t);
p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL; //NGC_MAX_ALLOC_FROM_POOL最大不超过4095B

p->current = p; //初始化指向当前从内存中取得的内存块的首地址
p->chain = NULL;
p->large = NULL; //创建内存池时，并没有需要很大内存块，所以为空
p->cleanup = NULL;
p->log = log;

return p;
}

ngx_memalign函数定义如下：
void *
ngx_memalign(size_t alignment, size_t size, ngx_log_t *log)
{
void *p;

p = memalign(alignment, size);
if (p == NULL) {
ngx_log_error(NGX_LOG_EMERG, log, ngx_errno,
"memalign(%uz, %uz) failed", alignment, size);
}

ngx_log_debug3(NGX_LOG_DEBUG_ALLOC, log, 0,
"memalign: %p:%uz @%uz", p, size, alignment);

return p;
}


例如在Linux（Ubantu14.04 64位）系统上申请大小为1024Bytes的内存池：最后结果如下：

2.2 内存池销毁
void
ngx_destroy_pool(ngx_pool_t *pool)
{
ngx_pool_t *p, *n;
ngx_pool_large_t *l;
ngx_pool_cleanup_t *c;

for (c = pool->cleanup; c; c = c->next) {
if (c->handler) {
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
"run cleanup: %p", c);
c->handler(c->data);
}
}
//cleanup指向析构函数，用于执行相关的内存池销毁之前的清理工作，如文件的关闭等，
//清理函数是一个handler的函数指针挂载。因此，在这部分，对内存池中的析构函数遍历调用。

for (l = pool->large; l; l = l->next) {
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, "free: %p", l->alloc);

if (l->alloc) {
ngx_free(l->alloc);
}
}
//这一部分用于清理大块内存，ngx_free实际上就是标准的free函数，
//即大内存块就是通过malloc和free操作进行管理的。

#if (NGX_DEBUG)

/**
* we could allocate the pool->log from this pool
* so we can not use this log while the free()ing the pool
*/

for (p = pool, n = pool->d.next; /** void */; p = n, n = n->d.next) {
ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
"free: %p, unused: %uz", p, p->d.end - p->d.last);

if (n == NULL) {
break;
}
}
//只有debug模式才会执行这个片段的代码，主要是log记录，用以跟踪函数销毁时日志记录。
#endif

for (p = pool, n = pool->d.next; /** void */; p = n, n = n->d.next) {
ngx_free(p);

if (n == NULL) {
break;
}
}
}
//该片段彻底销毁内存池本身。内存池是又多个链表相连接，d.next指向下一个内存池

2.3 重置内存块

void
ngx_reset_pool(ngx_pool_t *pool) //重置poo内存池，使得pool内存池回归初始状态
{
ngx_pool_t *p;
ngx_pool_large_t *l;

for (l = pool->large; l; l = l->next) {
if (l->alloc) {
ngx_free(l->alloc); //释放所有大内存块
}
}

for (p = pool; p; p = p->d.next) {
p->d.last = (u_char *) p + sizeof(ngx_pool_t); //使得last指向ngx_pool_t后的内存地址
p->d.failed = 0;
}

pool->current = pool;
pool->chain = NULL;
pool->large = NULL;
}

从内存池中分配内存
从内存池中取得size大小的内存主要通过ngx_palloc以及ngx_pnalloc，两者的区别是，前者从内存池中取得NGX_ALIGNMENT字节对其的内陈块，而后者不考虑字节对其，NGX_ALIGNMENT定义在ngx_config.h中：#ifndef NGX_ALIGNMENT
#define NGX_ALIGNMENT sizeof(unsigned long) /* platform word */
#endif
以ngx_palloc分析：void *
ngx_palloc(ngx_pool_t *pool, size_t size)
{
#if !(NGX_DEBUG_PALLOC)
if (size <= pool->max) { //若需要分配的内存大小大于内存池中的可分配内存，直接调用ngx_palloc_large分配，否则调用ngx_palloc_small分配，1代表直接对齐
return ngx_palloc_small(pool, size, 1);
}
#endif

return ngx_palloc_large(pool, size);
}

调用的ngx_palloc_small实现如下：static ngx_inline void *
ngx_palloc_small(ngx_pool_t *pool, size_t size, ngx_uint_t align)
{
u_char *m;
ngx_pool_t *p;

p = pool->current;

do {
m = p->d.last;
//执行对齐操作，
//即以last开始，计算以NGX_ALIGNMENT对齐的偏移位置指针，
if (align) {
m = ngx_align_ptr(m, NGX_ALIGNMENT);
}

//然后计算end值减去这个偏移指针位置的大小是否满足索要分配的size大小，
//如果满足，则移动last指针位置，并返回所分配到的内存地址的起始地址；
if ((size_t) (p->d.end - m) >= size) {
p->d.last = m + size;

return m;
}
//如果不满足，则查找下一个内存池。
p = p->d.next;

} while (p);
//如果遍历完整个内存池链表均未找到合适大小的内存块供分配，则执行ngx_palloc_block()来分配。

//ngx_palloc_block()函数为该内存池再分配一个block，该block的大小为链表中前面每一个block大小的值。
//一个内存池是由多个block链接起来的。分配成功后，将该block链入该poll链的最后，
//同时，为所要分配的size大小的内存进行分配，并返回分配内存的起始地址。
return ngx_palloc_block(pool, size);
}

当需要进行ngx_palloc_block进行小内存分块时，ngx_palloc_block定义如下：
ngx_palloc_block分配的可分配内存大小和pool指向的可分配内存大小一样
该函数分配一块内存后，last指针指向的是ngx_pool_data_t结构体(大小16B)之后数据区的起始位置，而创建内存池时时，last指针指向的是ngx_pool_t结构体(大小40B)之后数据区的起始位置。
static void *
ngx_palloc_block(ngx_pool_t *pool, size_t size)
{
u_char *m;
size_t psize;
ngx_pool_t *p, *new, *current;

psize = (size_t) (pool->d.end - (u_char *) pool);
//计算pool的大小，即需要分配的block的大小

m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log);
if (m == NULL) {
return NULL;
}
//执行按NGX_POOL_ALIGNMENT对齐方式的内存分配，假设能够分配成功，则继续执行后续代码片段。

//这里计算需要分配的block的大小
new = (ngx_pool_t *) m;

new->d.end = m + psize;
new->d.next = NULL;
new->d.failed = 0;
//执行该block相关的初始化。

m += sizeof(ngx_pool_data_t);
//让m指向该块内存ngx_pool_data_t结构体之后数据区起始位置
m = ngx_align_ptr(m, NGX_ALIGNMENT);
new->d.last = m + size;
//在数据区分配size大小的内存并设置last指针

current = pool->current;

for (p = current; p->d.next; p = p->d.next) {
if (p->d.failed++ > 4) {
current = p->d.next;
//失败4次以上移动current指针
}
}

p->d.next = new;
//将分配的block链入内存池

pool->current = current ? current : new;
//如果是第一次为内存池分配block，这current将指向新分配的block。

return m;
}

当请求的内存分配大小size大于当前内存池的可分配内存时（由于内存池是一个链表，随着不断地申请内存，current的指针会指向不同的内存池首地址），此时会调用ngx_palloc_large,ngx_palloc_large实现如下：

//这个函数在头文件里面并没有明确声明出来，而是在源文件中定义
//即nginx在进行内存分配需求时，不会自行去判断是否是大块内存还是小块内存，
//而是交由内存分配函数去判断，对于用户需求来说是完全透明的。
static void *
ngx_palloc_large(ngx_pool_t *pool, size_t size)
{
void              *p;
ngx_uint_t         n;
ngx_pool_large_t  *large;

p = ngx_alloc(size, pool->log);  //下文紧接着将分析此ngx_alloc函数
if (p == NULL) {
return NULL;
}

n = 0;

//以下几行，将分配的内存链入pool的large链中，
//这里指原始pool在之前已经分配过large内存的情况。
for (large = pool->large; large; large = large->next) {
if (large->alloc == NULL) {
large->alloc = p;
return p;
}

if (n++ > 3) {
break;
}
}

//如果该pool之前并未分配large内存，则就没有ngx_pool_large_t来管理大块内存
//执行ngx_pool_large_t结构体的分配，用于来管理large内存块。ngx_pool_large_t所需内存依然遵循从内存池中取所需内存的原则
large = ngx_palloc(pool, sizeof(ngx_pool_large_t));
if (large == NULL) {
ngx_free(p);
return NULL;
}

large->alloc = p;
large->next = pool->large;
pool->large = large;

return p;
}

其中，ngx_alloc定义在文件src/os/unix/ngx_alloc.c中：void *
ngx_alloc(size_t size, ngx_log_t *log)
{
void *p;

p = malloc(size);
if (p == NULL) {
ngx_log_error(NGX_LOG_EMERG, log, ngx_errno,
"malloc(%uz) failed", size);
}

ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, "malloc: %p:%uz", p, size);

return p;
}


由此完成了内存的分配。随后是内存的释放过程：通过调用ngx_destroy_pool对内存池的所有内存进行统一的释放，避免了内存泄露的可能。

三、案例分析下面以一个案例简单的分析内存池分配内存的过程：整个示例代码如下： /**
* ngx_pool_t test, to test ngx_palloc, ngx_palloc_block, ngx_palloc_large
*/

#include <stdio.h>
#include "ngx_config.h"
#include "ngx_conf_file.h"
#include "nginx.h"
#include "ngx_core.h"
#include "ngx_string.h"
#include "ngx_palloc.h"

void dump_pool(ngx_pool_t* pool)
{
while (pool)
{
printf("pool = 0x%x\n", pool);
printf("\t.d = 0x%x\n",&pool->d);
printf("\t.last = 0x%x\n", pool->d.last);
printf("\t.end = 0x%x\n", pool->d.end);
printf("\t.next = 0x%x\n", pool->d.next);
printf("\t.failed = %d\n", pool->d.failed);
printf("\t.max = %d\n", pool->max);
printf("\t.current = 0x%x\n", pool->current);
printf("\t.chain = 0x%x\n", pool->chain);
printf("\t.large = 0x%x\n", pool->large);
printf("\t.cleanup = 0x%x\n", pool->cleanup);
printf("\t.log = 0x%x\n", pool->log);
printf("available pool memory = %d\n\n", pool->d.end - pool->d.last);
pool = pool->d.next;
}
}

int main()
{
ngx_pool_t *pool;
printf("--------------------------------\n");
printf("the size of ngx_pool_t is:%d,and the size of intptr_t is:%d\n",sizeof(ngx_pool_t),sizeof(intptr_t));
printf("--------------------------------\n");
printf("the size of size_t is:%d\n",sizeof(size_t));
printf("--------------------------------\n");
printf("create a new pool:\n");
printf("--------------------------------\n");
pool = ngx_create_pool(1024, NULL);
dump_pool(pool);

printf("--------------------------------\n");
printf("alloc block 1 from the pool:\n");
printf("--------------------------------\n");
ngx_palloc(pool, 1024);
dump_pool(pool);

printf("--------------------------------\n");
printf("alloc block 2 from the pool:\n");
printf("--------------------------------\n");
ngx_palloc(pool, 1024);
dump_pool(pool);

printf("--------------------------------\n");
printf("alloc block 3 from the pool :\n");
printf("--------------------------------\n");
ngx_palloc(pool, 512);
dump_pool(pool);

ngx_pool_large_t *p;
p=pool->large;
int i=1;
while(p)
{
printf("%dth large block address is:0x%x\n",i,p);
++i;
p=p->next;
}

ngx_destroy_pool(pool);
return 0;
} 1、首先创建内存池：pool = ngx_create_pool(1024, NULL);


2、随着向内存池中申请1024Bytes数据，由于当前可分配内存为944Bytes，所以需要调用ngx_palloc_large取得所需内存：


图示如下：


3、再往内存池中申请1024Bytes数据：


4、从内存池中申请512Bytes内存，由于512Bytes小于当前可分配内存912Bytes,因此调用ngx_palloc_small进行内存分配