dlmalloc-2.6.6源码分析(一)

关键字:heap 内存管理 dlmalloc


1. Doug Lea malloc简介

Doug Lea malloc是一个用C语言实现的非常流行的内存分配器,由纽约州立大学Oswego分校计算机系教授Doug Lea1987年撰写,许多人将其称为Doug Leamalloc,或者简称dlmalloc,目前最新版本为2.8.4

 

由于具备高效且占用空间较小等特点,dlmalloc被广泛使用,用Doug Lea自己的话说,就是“它在一些linux版本里面作为默认的malloc被使用,被编译到一些公共的软件包里,并且已经被用于各种PC环境及嵌入式系统,以及许多甚至我也不知道的地方”。

 

dlmalloc的由来,从Doug Lea自己写的文章看,似乎是这样的:1986年到1991Doug Lealibg++(即GNU C++ library)的主要作者,当时他写了大量有着动态分配内存的C++程序,结果发现程序跑得比预期慢,内存消耗也比预想的要大很多,追究下去,发现是所在系统内存分配器的问题。于是开始用C++为新类写一些特殊用途的分配器,但他很快意识到这并非一个好的策略,应该提供一个在C++C环境下都能运行得很好的通用内存分配器,于是dlmalloc诞生了。在之后的日子里,Doug Lea和一些志愿者一直都在不断的维护优化这个内存分配器。dlmalloc之所以能被广泛应用,与其高标准的追求和不断的精益求精应该有着不可分割的关系。

 

另外,值得一提的是,Doug LeaJAVA编程界的大师级人物,也是JCP中的一员。同时Doug还是一个无私的人,苹果越分越少,知识却越分越多,他深信知识的分享能激荡出不一样的火花。

 

本文以dlmalloc-2.6.6为分析对象,之所以选择这个版本而不是最新的版本,原因如下,一是公司项目操作系统用的是eCos,而eCos用的是dlmalloc-2.6.6;二是网友lenky0401已经很详细的分析了dlmalloc-2.8.3(见“参考文档”一节)。另外一个顺带的好处就是,通过两个版本的比较,可以找到从2.6.62.8.3的变迁及其缘由。  

 

尽管dlmalloc经历了诸多版本的变化,然而malloc算法的两个核心元素一直没变:边界标记和分箱管理。


2边界标记

在继续深入之前,有必要解释一下chunk的概念,这个概念对内存分配器而言十分重要。

chunk,“大块”的意思,在dlmalloc中指包含了用户空间、heap控制信息空间及出于对齐需求而多出来的空间的内存空间,是dlmalloc分配释放的基本操作对象。

 

有两种类型的chunk,已分配的chunk和未分配的chunk,两者交错排列,占据了整个heap空间。注意,没有相邻的两个未分配chunk,因为在调用free()释放被使用过的chunk时,dlmalloc将合并任何相邻的空闲chunk。交错的两种chunk看起来像这样

                   

   1


Dlmalloc使用双向链表来管理空闲chunk,其节点数据结构体定义如下,

 struct malloc_chunk

{

  INTERNAL_SIZE_T prev_size;       /* Size of previous chunk (if free). */

  INTERNAL_SIZE_T size;           /* Size in bytes, including overhead. */

  struct malloc_chunk* fd;          /* double links -- used only if free. */

  struct malloc_chunk* bk;

};


成员prev_size记录了物理位置上相邻的前一个chunk的大小,利用prev_size可以找到前一个chunk,这在free( )时合并前一个空闲块时派上了用场;

成员size记录了该chunk的大小,dlmalloc32位处理器上总是8字节对齐,故size的低三位对size而言是无效的,dlmalloc利用这三位来记录一些信息,具体如下:

 

#define PREV_INUSE 0x1

bit[0]:物理位置上相邻的前一个chunk是否被分配使用的标志,如果为0x1,说明被分配;

 

#define IS_MMAPPED 0x2

bit[1]:如果为0x1,则表明该chunk通过mmap( )分配而得,那么在释放时调用munmap( )

 

fdbk则分别指向双向链表中前一个节点和后一个节点。

 

其物理布局看起来像这样:

 

 

图2


可以看出,chunk指针指向heap内部控制信息,图中headfoot区域的Size of chunk必须是一样的,如此nextchunk才能根据Size of chunk准确找到chunk的位置。

 

另一种是已分配的chunk,其结构体和未分配chunk结构体一样,只是不会使用fdbk两个成员,因为被分配后已经不需要这两个域了,其物理布局看起来像下图,chunk指后面8字节的偏移处,即mem区域,是返回给用户的内存指针,该chunkheap控制信息占据了8个字节,

 

                            3

 

在调用malloc( )时首先会将用户申请的size转换为系统可用的size

#define request2size(req) \

 (((long)((req) + (SIZE_SZ + MALLOC_ALIGN_MASK)) < \

  (long)(MINSIZE + MALLOC_ALIGN_MASK)) ? MINSIZE : \

   (((req) + (SIZE_SZ + MALLOC_ALIGN_MASK)) & ~(MALLOC_ALIGN_MASK)))

 

32位处理器上等同下列表达式,

#define request2size(req) \

 (((long)((req) + (0x4 + 0x7)) < \

  (long)(0x10 + 0x7)) ? ((0x10 + 0x7) & ~(0x7)) : \

   (((req) + (0x4 + 0x7)) & ~(0x7)))

 

从这个宏定义中,我们可以获取三点信息:

一是系统可用的size和用户申请的size的差值,最小是0x4

二是系统可用的size最小为16个字节,即sizeof(malloc_chunk);

三是系统可用的size 8字节对齐;  

 

说到这,或许你已经发现一个问题了,如果用户申请20个字节的空间,姑且称之为A,系统会分配24字节,而chunkheap控制信息占了8个字节,那留给用户使用的只剩下18个字节了。如此看来,岂不是会覆盖下一个chunk(姑且称之为B)的“Size of previous chunk”区域?

 

这个问题问得好,学而思,而后得解,我们才能更加充分认识到这个设计的思想。为解答这个问题,我们先了解什么时候需要定位前一个chunk?只有在释放一块空间,判断前一个chunk是否空闲时才需要该动作。换而言之,当一个chunk被分配使用时,它根本不需要下一个chunk被释放时来合并它,既然不需要,就利用起来吧。于是,B的“Size of previous chunk”区域也被纳入到A的用户空间中了。

 


                          4

 

从这一点讲,上图中的“Size of previous chunk, if allocated”的表述是不对的,应该是“Size of previous chunk, if freed”。

 

   

我曾分配了大小为0x98c的一块空间, 打印出来的控制信息证明了我的观点。



                       5

 

Size of previous chunk域为0x0,属于上一个chunk的用户空间;

Size of chunk0x991bit[0]=0x1说明上一个chunk被分配使用,0x990是该chunk的大小,加上nextchunkSize of previous chunk4个字节,总共0x994,刚好比用户申请的0x98c多出8个字节;

NextchunkSize of chunk域为0x607f0x607enextchunk的大小,bit[0]=0x1表明上一个chunk被分配使用。        

待续...


posted on 2010-06-03 19:23 yangfan 阅读(5649) 评论(2)  编辑 收藏 引用

评论

# re: dlmalloc-2.6.6源码分析(一) 2012-09-25 09:45 fatboydies

写的很好,但是已经两年没有更新了,期待呀!  回复  更多评论   

# re: dlmalloc-2.6.6源码分析(一)[未登录] 2013-10-14 17:48 Ray

二是系统可用的size最小为16个字节,即sizeof(malloc_chunk);

如果用戶申請的size<=4,系統可用的size應該等於8才對啊?  回复  更多评论   


只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   博问   Chat2DB   管理


<2014年3月>
2324252627281
2345678
9101112131415
16171819202122
23242526272829
303112345

导航

统计

常用链接

留言簿

随笔档案

文章分类

文章档案

搜索

最新评论