PE格式，是Windows的可執行檔的格式。 Windows中的 exe檔，dll檔，都是PE格式。 PE 就是Portable Executable 的縮寫。 Portable 是指對於不同的Windows版本和不同的CPU類型上PE檔的格式是一樣的，當然CPU不一樣了，CPU指令的二進位編碼是不一樣的。只是檔中各種東西的佈局是一樣的。 能告示根底嗎！ 摘要 Matt Pietrek（姜慶東譯） 對可執行檔的深入認識將帶你深入到系統深處。如果你知道你的exe/dll裏是些什麼東東，你就是一個更有知識的程式師。作為系列文章的第一章，將關注這幾年來PE格式的變化，同時也簡單介紹一下PE格式。經過這次更新，作者加入了PE格式是如何與.NET協作的及PE檔表格（PE FILE SECTIONS），RVA,The DataDirectory,函數的輸入等內容。 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 很久以前，我給Microsoft Systems Journal（現在的MSDN）寫了一篇名為“Peering Inside the PE: A Tour of the Win32 Portable Executable File format”的文章。後來比我期望的還流行，到現在我還聽說有人在用它（它還在MSDN裏）。不幸的是，那篇文章的問題依舊存在，WIN32的世界靜悄悄地變了好多，那篇文章已顯得過期了。從這個月開始我將用這兩篇文章來彌補。 你可能會問為什麼我應當瞭解PE格式，答案依舊：作業系統的可執行檔格式和資料結構暴露出系統的底層細節。通過瞭解這些，你的程式將編的更出色。 當然，你可以閱讀微軟的文檔來瞭解我將要告訴你的。但是，像很多文檔一樣，‘寧可晦澀，但為瓦全’。 我把焦點放在提供一些不適合放在正式文檔裏的內容。另外，這篇文章裏的一些知識不見得能在官方文檔裏找到。 1. 裂縫的撕開 讓我給你一些從1994年我寫那篇文章來PE格式變化的例子。WIN16已經成為歷史，也就沒有必要作什麼比較和說明了。另外一個可憎的東西就是用在WINDOWS 3.1 中的WIN32S，在它上面運行程式是那麼的不穩定。 那時候，WINDOWS 95（也叫Chicago）還沒有發行。NT還是3.5版。微軟的連接器還沒開始大規模的優化，儘管如此，there were MIPS and DEC Alpha implementations of Windows NT that added to the story. 那麼究竟，這麼些年來，有些什麼新的東西出來呢？64位的WINDOWS有了它自己的PE變種，WINDOWS CE 支持各種CPU了，各種優化如DLL的延遲載入，節表的合併，動態捆綁等也已出臺。 有很多類似的東西發生了。 讓我們最好忘了.NET。它是如何與系統切入的呢？對於作業系統，.NET的可執行檔格式是與舊的PE格式相容的。雖然這麼說，在運行時期，.NET還是按元資料和中間語言來組織資料的，這畢竟是它的核心。這篇文章當中，我將打開.NET元資料這扇門，但不做深入討論。 如果WIN32的這些變化都不足以讓我重寫這篇文章，就是原來的那些錯誤也讓我汗顏。比如我對TLS的描述只是一帶而過，我對時間戳的描述只有你生活在美國西部才行等等。還有，一些東西已是今是作非了，我曾說過.RDATA幾乎沒排上用場，今天也是，我還說過.IDATA節是可讀可寫的，但是一些搞API攔截的人發現好像是錯的。 在更新這篇文章的過程當中，我也檢查了PEDUMP這個用來傾印PE檔的程式.這個程式能夠在0X86和IA-64平臺下編譯和運行。 2. PE格式概覽 微軟的可執行檔格式，也就是大家熟悉的PE 格式，是官方文檔的一部分。但是，它是從VAX/VMS上的COFF派生出來的，就WINDOWS NT小組的大部分是從DEC轉過來的看來，這是可以理解的。很自然，這些人在NT的開發上會用他們以往的代碼。 採用術語“PORTABLE EXECUTABLE”是因為微軟希望有一個通用在所有WINDOWS平臺上和所有CPU上的檔格式。從大的方面講，這個目標已經實現。它適用于NT及其後代，95及其後代，和CE. 微軟產生的OBJ檔是用COFF格式的。當你看到它的很多域都是用八進制的編碼的，你會發現她是多麼古老了。COFF OBJ檔用到了很多和PE一樣的資料結構和枚舉，我馬上會提到一些。 64位的WINDOWS只對PE格式作了一點點改變。這個新的格式叫做PE32+。沒有增加一個欄位，且只刪了一個欄位。其他的改變就是把以前的32位欄位擴展成64位。對於C++代碼，通過巨集定義WINDOWS的頭檔已經遮罩了這些差別。 EXE與DLL的差別完全是語義上的。它們用的都是同樣一種檔格式-PE。唯一的區別就是其中有一個欄位標識出是EXE還是DLL.還有很多DLL的擴展比如OCX,CPL等都是DLL.它們有一樣的實體。 你首先要知道的關於PE的知識就是磁片中的資料結構佈局和記憶體中的資料結構佈局是一樣的。載入可執行檔（比如LOADLIBARY）的首要任務就是把磁片中的檔映射到進程的位址空間.因此像IMAGE_NT_HEADER（下面解釋）在磁片和記憶體中是一樣的。關鍵的是你要懂得你怎樣在磁片中獲得PE檔某些資訊的，當它載入記憶體時你可以一樣獲得，基本上是沒什麼不同的（即記憶體映射檔）。但是知道與映射普通的記憶體映射檔不同是很重要的。WINDOWS載入器察看PE檔才決定映射到哪里，然後從檔的開始處往更高的位址映射，但是有的東西在檔中的偏移和在記憶體中的偏移會不一樣。儘管如此，你也有了足夠的資訊把檔偏移轉化成記憶體偏移。見圖一： 當Windows載入器把PE載入記憶體，在記憶體中它稱作模組（MODULE），檔從HMODULE這個位址開始映射。記住這點：給你個HMODULE，從那你可以知道一個資料結構（IMAGE_DOS_HEADER），然後你還可以知道所有得資料結構。這個強大的功能對於API攔截特別有意義。（準確地說：對於WINDOWS CE，這是不成立的，不過這是後話）。 記憶體中的模組代表著進程從這個可執行檔中所需要的所有代碼，資料，資源。其他部分可以被讀入，但是可能不映射（如，重定位節）。還有一些部分根本就不映射，比如當調試資訊放到檔的尾部的時候。有一個欄位告訴系統把檔映射到記憶體需要多少記憶體。不需要的資料放在檔的尾部，而在過去，所有部分都映射。 在WINNT.H描述了PE 格式。在這個檔中，幾乎有所有的關於PE的資料結構，枚舉，#DEFINE。當然，其他地方也有相關文檔，但是還是WINNT.H說了算。 有很多檢測PE文件的工具，有VISUAL STUDIO的DUMPBIN,SDK中的DEPENDS，我比較喜歡DEPENDS，因為它以一種簡潔的方式檢測出檔的引入引出。一個免費的PE察看器，PEBrowse,來自smidgenosoft。我的pedump也是很有用的，它和dumpbin有一樣的功能。 從api的立場看，imagehlp.dll提供了讀寫pe檔的機制。 在開始討論pe檔前，回顧一下pe檔的一些基本概念是有意義的。在下面幾節，我將討論：pe 節，相對虛擬位址（rva），資料目錄，函數的引入。 3. PE節 PE節以某鍾順序表示代碼或資料。代碼就是代碼了，但是卻有多種類型的資料，可讀寫的程式資料（如總體變數），其他的節包含API的引入引出表，資源，重定位。每個節有自己的屬性，包括是否是代碼節，是否唯讀還是可讀可寫，節的資料是否全局共用。 通常，節中的資料邏輯上是關聯的。PE檔一般至少要有兩個節，一個是代碼，另一個為資料。一般還有一個其他類型的資料的節。後面我將描述各種類型的節。 每個節都有一個獨特的名字。這個名字是用來傳達這個節的用途的。比如，.RDATA表示一個唯讀節，節的名字對於作業系統毫無意義，只是為了人們便於理解。把一個節命名為FOOBAR和.TEXT是一樣有用的。微軟給他們的節命名了個有特色的名字，但是這不是必需的。Borland的連接器用的是code和data 一般編譯器將產生一系列標準的節，但這沒有什麼不可思議的。你可以建立和命名自己的節，連接器會自動在程式檔中包含它們。在visual c++中，你能用#pragma指令讓編譯器插入資料到一個節中。像下面這樣： 　#pragma data_seg("MY_DATA") 　...有必要初始化 　#pragma data_seg() 你也可以對.data做同樣的事。大部分的程式都只用編譯器產生的節，但是有時候你卻需要這樣。比如建立一個全局共用節。 節並不是全部由連接器確定的，他們可以在編譯階段由編譯器放入obj檔。連接器的工作就是合併所有obj和庫中需要的節成一個最終的合適的節。比如，你的工程中的所有obj可能都有一個包含代碼的.text節，連接器把這些節合併成一個.text節。同樣對於.data等。這些主題超出了這篇文章的範圍了。還有更多的規則關於連接器的。在obj文件中是專門給linker用的，並不放入到pe檔中，這種節是用來給連接器傳遞資訊的。 節有兩個關於對齊的欄位，一個對應磁片檔，另一個對應記憶體中的檔。Pe檔頭指出了這兩個值，他們可以不一樣。每個節的偏移從對齊值的倍數開始。比如，典型的對齊值是0x200，那麼每個節的的偏移必須是0x200的倍數。一旦載入記憶體，節的起始位址總是以頁對齊。X86cpu的頁大小為4k，al-64為8k。 下麵是pedump傾印出的Windows XP KERNEL32.DLL.的.text .data節的信息： 　Section Table 　01 .text VirtSize: 00074658 VirtAddr: 00001000 　raw data offs: 00000400 raw data size: 00074800 　... 　02 .data VirtSize: 000028CA VirtAddr: 00076000 　raw data offs: 00074C00 raw data size: 00002400 建立一個節在檔中的偏移和它相對於載入位址的偏移相同的pe檔是可能的。在98/me中，這會加速大檔的載入。Visual studio 6.0 的默認選項 /opt:win98j就是這樣產生檔的。在Visual studio.net中是否用/opt:nowin98取決於檔是否夠小。 一個有趣的連接器特徵是合併節的能力。如果兩個節有相似相容的屬性，連接的時候就可以合併為一個節。這取決於是否用/merger開關。像下麵就把.rdata和.text合併為一個節.text 　/MERGE:.rdata=.text 合併節的優點就是對於磁片和記憶體節省空間。每個節至少佔用一頁記憶體，如果你可以把可執行檔的節數從4減到3，很可能就可以少用一頁記憶體。當然，這取決於兩個節的空餘空間加起來是否達到一頁。 當你合併節事情會變得有意思，因為這沒有什麼硬性和容易的規則。比如你可以合併.rdata到.text， 但是你不可以把.rsrc.reloc.pdata合併到別的節。先前Visual Studio .NET允許把.idata合併，後來又不允許了。但是當發行的時候，連接器還是可以把.idata合併到別的節。 因為引入節的一部分在載入器載入時將被寫入，你可能驚奇它是如何被放入一個唯讀節的。是這樣的，在載入的時候系統會臨時改變那些包含引入節的頁為可讀可寫，初始化完成後，又恢復原來屬性。 4. 相對虛擬位址 在可執行檔中，有很多地方需要指定記憶體位址，比如，引用總體變數時，需要指定它的位址。Pe檔儘管有一個首選的載入位址，但是他們可以載入到進程空間的任何地方，所以你不能依賴於pe的載入點。由於這點，必須有一個方法來指定位址而不依賴於pe載入點的地址。為了避免把記憶體位址硬編碼進pe檔，提出了RVA。RVA是一個簡單的相對於PE載入點的記憶體偏移。比如，PE載入點為0X400000,那麼代碼節中的地址0X401000的RVA為(target address) 0x401000 - (load address)0x400000 = (RVA)0x1000。把RVA加上PE的載入點的實際位址就可以把RVA轉化實際位址。順便說一下，按PE的說法，記憶體中的實際位址稱為VA(VIRTUAL ADDRESS).不要忘了早點我說的PE的載入點就是HMODULE。 想對探索記憶體中的任意DLL嗎？用GetModuleHanle(LPCTSTR)取得載入點，用你的PE知識來幹活吧 5. 資料目錄 PE檔中有很多資料結構需要快速定位。顯然的例子有引入函數，引出函數，資源，重定位。這些東西是以一致的方式來定位的，這就是資料目錄。 資料目錄是一個結構陣列，包含16個結構。每個元素有一個定義好的標識，如下： 　// Export Directory 　#define IMAGE_DIRECTORY_ENTRY_EXPORT 0 　// Import Directory 　#define IMAGE_DIRECTORY_ENTRY_IMPORT 1 　// Resource Directory 　#define IMAGE_DIRECTORY_ENTRY_RESOURCE 2 　// Exception Directory 　#define IMAGE_DIRECTORY_ENTRY_EXCEPTION 3 　// Security Directory 　#define IMAGE_DIRECTORY_ENTRY_SECURITY 4 　// Base Relocation Table 　#define IMAGE_DIRECTORY_ENTRY_BASERELOC 5 　// Debug Directory 　#define IMAGE_DIRECTORY_ENTRY_DEBUG 6 　// Description String 　#define IMAGE_DIRECTORY_ENTRY_COPYRIGHT 7 　// Machine value (MIPS GP) 　#define IMAGE_DIRECTORY_ENTRY_GLOBALPTR 8 　// TLS Directory 　#define IMAGE_DIRECTORY_ENTRY_TLS 9 　// Load Configuration Directory 　#define IMAGE_DIRECTORY_ENTRY_LOAD_CONFIG 10 　typedef struct _IMAGE_DATA_DIRECTORY { 　　　ULONG VirtualAddress; 　　　ULONG Size; 　} IMAGE_DATA_DIRECTORY, *PIMAGE_DATA_DIRECTORY; 6. 引入函數 當你使用別的DLL中的代碼或資料，稱為引入。當PE載入時，載入器的工作之一就是定位所有引入函數及資料，使那些位址對於載入的PE可見。具體細節在後面討論，在這裏只是大概講一下。 當你用到了一個DLL中的代碼或資料，你就暗中連接到這個DLL。但是你不必為“把這些位址變得對你的代碼有效”做任何事情，載入器為你做這些。方法之一就是顯式連接，這樣你就要確定DLL已被載入，及函數的位址。調用LOADLIBARY和GETPROCADDRESS就可以了。 當你暗式連接DLL，LOADLIBARY和GETPROCADDRESS同樣還是執行了的。只不過載入器為你做了這些。載入器還保證PE檔所需得任何附加的DLL都已被載入。比如，當你連接了KERNEL32.DLL,而它又引入了NTDLL.DLL的函數，又比如當你連接了GDI32.DLL,而它又依賴於USER32, ADVAPI32，NTDLL, 和 KERNEL32 DLLs的函數，載入器會保證這些DLL被載入及函數的決議。 暗式連接時，決議過程在PE檔在載入時就發生了。如果這時有什麼問題（比如這個DLL檔找不到），進程終止。 VISUAL C++ 6.0 加入了DLL的延遲載入的特徵。它是暗式連接和顯式連接的混合。當你延遲載入DLL，連接器做出一些和引入標準規則DLL類似的東西，但是作業系統卻不管這些東西，而是在第一次調用這個DLL中的函數的時候載入（如果還沒載入），然後調用GetProcAddress取得函數的位址。 對於pe檔要引入的dll都有一個對應的結構陣列，每個結構指出這個dll的名字及指向一個函數指標陣列的指標，這個函數指標陣列就是所謂的IAT（IMORT ADDRESS TABLE）。每個輸入函數，在IAT中都有一個保留槽，載入器將在那裏寫入真正的函數位址。最後特別重要一點的是：模組一旦載入，IAT中包含所要調用的引入函數的位址。 把所有輸入函數放在IAT一個地方是很有意義的，這樣無論代碼中多少次調用一個引入函數，都是通過IAT中的一個函數指標。 讓我們看看是怎樣調用一個引入函數的。有兩種情況需要考慮：有效率的和效率差的。最好的情況像下面這樣： 　CALL DWORD PTR [0x00405030] 直接調用[0x405030]中的函數，0x405030位於IAT部分。效率差的方式如下： 　CALL 0x0040100C 　... 　0x0040100C: 　JMP DWORD PTR [0x00405030] 這種情況，CALL把控制權轉到一個子程式，副程式中的JMP指令跳轉到位於IAT中的0x00405030，簡單說，它多用了5位元組和JMP多花的時間。 你可能驚訝引入函數就採用了這種方式，有個很好的解釋，編譯器無法區別引入函數的調用和普通函數調用，對於每個函數調用，編譯器只產生如下指令： 　CALL XXXXXXXX XXXXXXXX是一個由連接器填入的RVA。注意，這條指令不是通過函數指標來的，而是代碼中的實際地址。 為了因果的平衡，連接器必須產生一塊代碼來代替取代XXXXXXXX，簡單的方法就是象上面所示調用一個JMP STUB. 那麼JMP STUB 從那裏來呢？令人驚異的是，它取自輸入函數的引入庫。如果你去察看一個引入庫，在輸入函數名字的關聯處，你會發現與上面JMP STUB相似的指令。 接著，另一個問題就是如何優化這種形式，答案是你給編譯器的修飾符，__declspec(import) 修飾符告訴編譯器，這個函數來自另一個dll，這樣編譯器就會產生第一種指令。另外，編譯器將給函數加上__imp_首碼然後送給連接器決議，這樣可以直接把__imp_xxx送到iat,就不需要jmp stub了。 對於我們這有什麼意義呢，如果你在寫一個引出函數的東西並提供一個頭檔的話，別忘了在函數前加上修飾符__declspec(import) 　__declspec(dllimport) void Foo(void); 在winnt.h等系統頭檔中就是這樣做的。 7. PE 檔結構 現在讓我們開始研究PE檔格式，我將從檔的頭部開始，描述每個PE檔中都有的各種資料結構，然後，我將討論更多的專門的資料結構比如引入表和資源，除非特殊說明，這些結構都定義在WINNT.H中。 一般地，這些結構都有32和64位之分，如IMAGE_NT_HEADERS32 ,IMAGE_NT_HEADER64等，他們基本上是一樣的，除了64位的擴展了某些欄位。通過#DEFINE WINNT.H都遮罩了這些區別，選擇那個資料結構取決於你要如何編譯了（如，是否定義_WIN64） The MS-DOS Header 每個PE檔是以一個DOS程式開始的，這讓人想起WINDOWS在沒有如此可觀的使用者的早期年代。當可執行檔在非WINDOWS平臺上運行的時候至少可以顯示出一條資訊表示它需要WINDOWS。 PE檔的開頭是一個IMAGE_DOS_HEADER結構，結構中只有兩個重要的欄位e_magic and e_lfanew。e_lfanew指出pe file header的偏移，e_magic需要設定位0x5a4d，被#define 成IMAGE_DOS_SIGNATURE 它的ascii為’MZ’，Mark Zbikowski的首字母，DOS 的原始構建者之一。 The IMAGE_NT_HEADERS Header 這個結構是PE檔的主要定位資訊的所在。它的偏移由IMAGE_DOS_HEADER的e_lfanew給出 確實有64和32位之分，但我在討論中將不作考慮，他們幾乎沒有區別。 　typedef struct _IMAGE_NT_HEADERS { 　　DWORD Signature; 　　IMAGE_FILE_HEADER FileHeader; 　　IMAGE_OPTIONAL_HEADER32 OptionalHeader; 　} IMAGE_NT_HEADERS32, *PIMAGE_NT_HEADERS32; 在一個有效的pe檔裏，Signture被設為0x00004500，ascii 為’PE00’，#define IMAGE_NT_SIGNTURE 0X00004500;第二個欄位是一個IMAGE_FILE_HEADER結構，它包含檔的基本資訊，特別重要的是它指出了IMAGE_OPTIONAL_HEADER的大小（重要嗎？）；在PE文件中，IMAGE_OPTIONAL_HEADER是非常重要的，但是仍稱作IMAGE_OPTIONAL_HEADER。 IMAGE_OPTIONAL_HEADER結構的末尾就是用來定位pe檔中重要資訊的位址簿-資料目錄，它的定義如下： 　typedef struct _IMAGE_DATA_DIRECTORY { 　　DWORD VirtualAddress; // RVA of the data 　　DWORD Size; // Size of the data 　}; The Section Table 緊接著IMAGE_NT_HEADERS後的就是節表，節表就是IMAGE_SECTION_HEADER的陣列。IMAGE_SECTION_HEADER包含了它所關聯的節的資訊，如位置，長度，特徵；該陣列的數目由IMAGE_NT_HEADERS.FileHeader.NumberOfSections指出。具體見下圖 PE中的節的大小的總和最後是要對齊的，Visual Studio 6.0中的預設值是4k，除非你使用/OPT:NOWIN98 或/ALIGN開關；在.NET中，依然用了默認的/OPT:WIN98，但是如果檔小於一特定大小時，就會採用0X200為對齊值。 .NET文檔中有關於對齊的另一件有趣的事。.NET檔的記憶體對齊值為8K而不是普通X86平臺上的4K，這樣就保證了在X86平臺編譯的程式可以在IA-64平臺上運行。如果記憶體對齊值為4K，那麼IA-64的載入器就不能載入這個程式，因為它的頁為8K