hadoop分析之二元数据备份方案的机制（转载）
摘要: 1、NameNode启动加载元数据情景分析
NameNode函数里调用FSNamesystemm读取dfs.namenode.name.dir和dfs.namenode.edits.dir构建FSDirectory。
FSImage类recoverTransitionRead和saveNameSpace分别实现了元数据的检查、加载、内存合并和元数据的持久化存储。
saveNameSpace将元数据写入到磁盘，具体操作步骤：首先将current目录重命名为lastcheckpoint.tmp;然后在创建新的current目录，并保存文件；最后将lastcheckpoint.tmp重命名为privios.checkpoint.
checkPoint的过程：Secondary NameNode会通知nameNode产生一个edit log文件edits.new，之后所有的日志操作写入到edits.new文件中。接下来Secondary NameNode会从namenode下载fsimage和edits文件，进行合并产生新的fsimage.ckpt;然后Seco
阅读全文
posted @
2013-05-24 15:29 王海光 阅读(460) |
评论 (0) 编辑
hadoop分析之一HDFS元数据解析（转载）
摘要: 1、元数据（Metadata）：维护HDFS文件系统中文件和目录的信息，分为内存元数据和元数据文件两种。NameNode维护整个元数据。
阅读全文
posted @
2013-05-24 15:18 王海光 阅读(1006) |
评论 (0) 编辑