mmgr是postgresql的内存管理模块,其代码分布在aset.c,mctx.c和portalmem.c这三个文件之中。这里主要分析它的堆内存的管理机制,也就是aset.c文件中的内容。
AllocSetContext是堆内存管理的主要结构,其定义如下:
typedef struct AllocSetContext { MemoryContextData header; /* Standard memory-context fields */ Info about storage allocated in this context: */ AllocBlock blocks; head of list of blocks in this set */ AllocChunk freelist[ALLOCSET_NUM_FREELISTS]; free chunk lists */ Allocation parameters for this context: */ Size initBlockSize; initial block size Size maxBlockSize; maximum block size Size nextBlockSize; next block size to allocate Size allocChunkLimit; effective chunk size limit AllocBlock keeper; if not NULL,keep this block over resets } AllocSetContext;
其中的成员可以分为三个部分,我用三种不同的颜色标记了出来:
1) 黄色部分是AllocSetContext的头部,如果用面向对象的观点来看,可以说AllocSetContext是继承自MemoryContextData的,这里我们不关心MemoryContextData的定义,它提供了对AllocSetContext更高层次的管理。
2)粉色部分是一些配置参数。
3) 紫色部分是我们这篇博客的主角。blocks和freelist对应于堆内存管理的两个方面。下面详细描述。
AllocSetContext作为malloc/free与更上层应用的中间层,向下需要管理使用malloc从操作系统申请到的内存,对上则需要提供内存的获取与释放的接口。我们先说第一个方面,也就是它是如何管理malloc来的内存的。
AllocSetContext将从操作系统中申请到的内存放在一下链表中进行管理,这个链表就是紫色部分的blocks。blocks中的每一项的结构叫做AllocBlockData,它的定义如下:
typedef struct AllocBlockData { AllocSet aset; /* aset that owns this block */ AllocBlock next; /* next block in aset's blocks list */ char *freeptr; /* start of free space in this block */ char *endptr; /* end of space in this block */ } AllocBlockData;
AllocBlockData是向操作系统申请和释放内存的基本单位,为了简便起见,下面就直接叫它Block了。在接收到内存分配请求的时候,AllocSetContext如果发现blocks头部的那个Block没有足够的空间,就再从操作系统中申请一个更大的Block作为blocks的头。以后的分配出的内存就是从这个更大的Block上割出来的。这个更大是多大呢,pg将它设为前一个的2倍,也就是说blocks这个链表从尾部到头部,每向前一个Block的大小就会增长一倍。这里说的是通常情况,也会有非通常情况的,比如这个Block是不可能无限制地增大的,它有一个最大的可以分配的大小AllocSetContext::maxBlockSize,也还有来自其它方面的限制,要了解这个限制就得先说一说AllocSetContext的另外一个主要功能了--对外提供获取内存和释放内存的接口。
AllocSetContext提供给外部使用的主要接口为:
static void *AllocSetAlloc(MemoryContext context,Size size); static void AllocSetFree(MemoryContext context,void *pointer); static void *AllocSetRealloc(MemoryContext context,void *pointer,Size size);
你可以调用AllocSetAlloc(cxt,sizeof(XX)) 来获得一块可用的特定大小的内存,但是如果你天真地以为你需要的是15个字节的空间,它就会精确地给你15个字节,你就错了,实际上,为了你的这次内在请求,它给了你16个字节的空间,外加一个信息头。也就是说它给你返回的内存有统一的结构,大小也有特定地限制。
这个统一的内存结构的定义如下:
typedef struct AllocChunkData { /* aset is the owning aset if allocated,or the freelist link if free */ void *aset; /* size is always the size of the usable space in the chunk */ Size size; #ifdef MEMORY_CONTEXT_CHECKING /* when debugging memory usage,also store actual requested size */ /* this is zero in a free chunk */ Size requested_size; #endif } AllocChunkData;
AllocChunkData是返回内存的基本单位,下面叫它Chunk。如果你申请到一个大小为16字节的内存,你实际拿到是像下图的这么个东西,返回给你的地址前面是有一个Chunk头的:
为了加快分配的速度和方便管理,每个Chunk里的可用空间都是2的整数次幂。同时还维护了一个叫做freelist的数组,这个数组的每一项都是一个Chunk的队列,每个队列内的Chunk大小都是一样的。下面是某时刻free list的内存布局图:
这个free list的Chunk的来源有两个方面:
1) 调用AllocSetFree回收来的Chunk;
2) 调用AllocSetAlloc时,如果发现blocks链表的第一个Block没有足够的空间,这时候会分配一个更大的Block,但是在做这样事之前,首先要将头上那个Block中还剩下的空间酌情格式化为一些Chunk加入到free list这中。
由于这个free list数组的大小是固定的,所以在free list之中最大的Chunk的可用空间也是有限的,如果申请比最大的Chunk所能提供的空间还要大的内存时,就会被认为这是在申请一块大内存,会直接从操作系统中malloc出来给你,这种内存对这个堆管理器来说只是个过客,free时是不会加入到free list中的,也就是说这种不会被堆管理器直接重利用。
好了,堆内存的管理的基本结构数据结构就介绍这么多,是时候看看几个主要方法的实现了,这里只说一下几个最常用 的接口: AllocSetAlloc,AllocSetFree,AllocSetRealloc
下面这个图解释了AllocSetAlloc的流程:
1) 首先判断是不是在申请大内存?如果是转入2),否则转入3);
2) 直接malloc出大小为: size 加上Block和Chunk头的大小,调整好指针位置,返回;
3) 计算出实际分配的内存大小,这个大小是比size大的最小的2^k;
4) free list中是否有这种大小的Chunk? 若有转入5),否则转入6);
5) 从free list中取出一个满足条件的Chunk,返回;
6) blocks链表的第一个Block是不是足够的空间,若有转入9),否则继续
7) 将第一个Block中剩余的空间格式化为一些Chunk,加入到free list中;
8) malloc出一个更大的Block,加入到blocks中,
9) 从Block中格式化一个满足条件的Chunk,返回。
AllocSetFree的操作比较的简单,如下图,其步骤为:
1) 根据传入的指针算出Chunk头的位置 ( p - sizeof(AllocChunkData));
2) 根据Chunk中的size信息判断是不是大内存,若不是,转入4),否则继续;
3) 直接free掉(是个过客,不再利用)返回。
4) 将Chunk入到合适的free list之中。
AllocSetRealloc的步骤如下:
1) 调整指针p的位置得到Chunk头的地址;
2) 如果再分配的大小比Chunk的要小,直接返回;
3) 如果是大内存,则直接调用realloc分配一个更大的Block,并更新blocks中对应的项(所有的Block在使用期间都被blocks管理着),然后返回.
4) 否则则先调用 AllocSetFree,再调用 AllocSetAlloc.
这个堆管理器的最主要的功能和实现就叙述完了,最后看一下它提供的更高级的一些调试功能:
1) CLOBBER_FREED_MEMORY 野指针对任何一个C/C++程序员来说都是豺狼虎豹,如果定义了这个宏,在面对野指针的时候你会从容不少,因为这个宏启用了一项功能:AllocSetFree的内存都会被置为0x7f,这样在你第一次使用野指针的时候就会立马发现它。
2) MEMORY_CONTEXT_CHECKING 由于在大多数情况下,mmgr返回的内存大小大于申请大小的最小的2次幂。所以内存或多或少总是有浪费的。但这也是提高内存分配所带来必然的损失,为了心理平衡一下,我们可以利用这多出来的内存,做其他的事,比如这个宏就会启用这样一项功能:在实际大小后面填充一0x7e,这样就可以检测是否有内存越界的事情发生了。