HADOOPCheckpoint原理

以下即是checkpoint过程:

  1. 辅助Namenode请求主Namenode停止使用edits文件,暂时将新的写操作记录到一个新文件中,如edits.new。
  2. 辅助Namenode节点从主Namenode节点获取fsimage和edits文件(采用HTTP GET)
  3. 辅助Namenode将fsimage文件载入到内存,逐一执行edits文件中的操作,创建新的fsimage文件
  4. 辅助Namenode将新的fsimage文件发送回主Namenode(使用HTTP POST)
  5. 主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件,用步骤1产生的edits.new文件替换旧的edits文件(即改名)。同时更新fstime文件来记录检查点执行的时间
原文地址:https://www.cnblogs.com/bobsoft/p/2714487.html