Firefox的HTTP内容解压代码阅读
(转载请注明来源于金庆的专栏)
参考firefox-2.0.0.4-source
RFC2612 3.5节Content codings, 内容编码定义了三种内容压缩方式:
gzip, compress, deflate, 但也可以注册新的压缩方式。
找到FireFox中的Http解压代码:
Find 'deflate' in 'D:\mozilla\netwerk\streamconv\converters\nsHTTPCompressConv.h' :
D:\mozilla\netwerk\streamconv\converters\nsHTTPCompressConv.h(58): #define HTTP_DEFLATE_TYPE "deflate"
nsHttpCompressConv.h
#define HTTP_DEFLATE_TYPE "deflate"
#define HTTP_GZIP_TYPE "gzip"
#define HTTP_X_GZIP_TYPE "x-gzip"
#define HTTP_COMPRESS_TYPE "compress"
#define HTTP_X_COMPRESS_TYPE "x-compress"
#define HTTP_IDENTITY_TYPE "identity"
#define HTTP_UNCOMPRESSED_TYPE "uncompressed"
typedef enum {
HTTP_COMPRESS_GZIP,
HTTP_COMPRESS_DEFLATE,
HTTP_COMPRESS_COMPRESS,
HTTP_COMPRESS_IDENTITY
} CompressMode;
定位到类与方法:
class nsHTTPCompressConv : public nsIStreamConverternsHTTPCompressConv::AsyncConvertData(const char *aFromType, ...)比较类型串,设置解压模式。例
else if (!PL_strncasecmp(aFromType, HTTP_DEFLATE_TYPE, sizeof(HTTP_DEFLATE_TYPE)-1)) mMode = HTTP_COMPRESS_DEFLATE;nsHTTPCompressConv::OnDataAvailable(...)针对不同解压模式进行解压。
代码阅读:
switch (mMode)
{
case HTTP_COMPRESS_GZIP:
streamLen = check_header(iStr, streamLen, &rv);
case HTTP_COMPRESS_DEFLATE:
break;
default:
}
HTTP_COMPRESS_COMPRESS没有进行特别处理?
应该是无法解的,可能LZW解压算法有专利问题。
Gzip进行头部处理后就与deflate进行相似的解压。
case HTTP_COMPRESS_DEFLATE:
if (mMode == HTTP_COMPRESS_DEFLATE)
/* deflate */
else
/* gzip */
break;
deflate与gzip解压的代码几乎相同,应该可以合成一块代码。
区别仅有:
- deflate使用inflateInit(),而gzip使用inflateInit2()进行初始化,比inflateInit()多一个参数: -MAX_WBITS,表示处理raw deflate数据。因为gzip数据中的zlib压缩数据块没有zlib header的两个字节。使用inflateInit2时要求zlib库忽略zlib header。在zlib手册中要求windowBits为8..15,但是实际上其它范围的数据有特殊作用,见zlib.h中的注释,如负数表示raw deflate。
- Apache的deflate变种可能也没有zlib header,需要添加假头后处理。即MS的错误deflate (raw deflate).zlib头第1字节一般是0x78, 第2字节与第一字节合起来的双字节应能被31整除,详见rfc1950。例如Firefox的zlib假头为0x7801,python zlib.compress()结果头部为0x789c。
deflate添假头,与gzip忽略头部效果应该是一样的,是否可以合并处理?
能否判断头部两个字节是zlib头部还是数据?是否有可能raw deflate数据按正常zlib块处理了而不报错?
check_header()
参考:
GZIP文件格式简介1. gz头:0x1f8b
2. Z_DEFLATED标志:0x08
...
其中FLG.FEXTRA的处理有个错误,额外可选项的长度应该是两个字节的合成:
mLen = ((uInt) c & 0377) << 8;应改为
mLen |= ((uInt) c & 0377) << 8;因为该额外字段一般在HTTP的应用中不会出现,所以没有显现出来。
我已提交:
Bugzilla@Mozilla – Bug 383984注意:GZIP文件格式简介中的额外字段的格式与rfc1952不一致,多了两个“选项ID”字节。
还有,
case GZIP_COMMENT: if (mFlags & GZIP_COMMENT)应改为:
case GZIP_COMMENT: if (mFlags & COMMENT)该错误已提交,
Bugzilla@Mozilla – Bug 382849zlib可以处理gzip头部,但所有gz函数都是针对gz文件进行的,没有直接在内存中处理gzip的,这好象是zlib功能上的一个不足吧?
相关rfc:
rfc1950: ZLIB Compressed Data Format Specification version 3.3
rfc1951: DEFLATE Compressed Data Format Specification version 1.3
(转载请注明来源于金庆的专栏)