Hadoop之NameNode启动源码解析

Hadoop NameNode 启动流程分析

添加依赖项

为了开始 NameNode 的启动过程分析，首先需要在 pom.xml 文件中添加以下依赖项：

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs-client</artifactId>
        <version>3.1.3</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

NameNode 类介绍

NameNode 类是 Hadoop 分布式文件系统 (HDFS) 的核心组件之一，负责管理文件系统的命名空间和元数据。每个 HDFS 部署中通常只有一个活动的 NameNode（除了在使用备份/故障转移 NameNode 或联邦 NameNode 的情况下）。NameNode 控制两个关键的数据结构：

1. 文件名到块序列映射（命名空间）。
2. 块到机器列表映射（节点表）。

NameNode 实现了 ClientProtocol 接口，允许客户端请求文件系统服务；同时它还实现了 DatanodeProtocol 接口，用于与存储实际数据块的 DataNode 进行通信。

主方法解析

NameNode 类的 main 方法初始化并启动 NameNode 服务：

public static void main(String argv[]) throws Exception {
    if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
        System.exit(0);
    }

    try {
        StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
        NameNode namenode = createNameNode(argv, null);
        if (namenode != null) {
            namenode.join();
        }
    } catch (Throwable e) {
        LOG.error("Failed to start namenode.", e);
        terminate(1, e);
    }
}

创建 NameNode 对象

createNameNode 方法创建并配置 NameNode 对象：

public static NameNode createNameNode(String argv[], Configuration conf)
    throws IOException {
    StartupOption startOpt = parseArguments(argv);
    if (startOpt == null) {
        printUsage(System.err);
        return null;
    }
    setStartupOption(conf, startOpt);

    boolean aborted = false;
    switch (startOpt) {
        case FORMAT:
            aborted = format(conf, startOpt.getForceFormat(),
                startOpt.getInteractiveFormat());
            terminate(aborted ? 1 : 0);
            return null;
        case GENCLUSTERID:
            //...
        default:
            DefaultMetricsSystem.initialize("NameNode");
            return new NameNode(conf);
    }
}

初始化 NameNode

NameNode 的构造函数执行基本的初始化任务：

public NameNode(Configuration conf) throws IOException {
    this(conf, NamenodeRole.NAMENODE);
}

protected NameNode(Configuration conf, NamenodeRole role)
    throws IOException {
    //...
    try {
        initializeGenericKeys(conf, nsId, namenodeId);
        initialize(getConf());
        //...
    } catch (IOException e) {
        this.stopAtException(e);
        throw e;
    } catch (HadoopIllegalArgumentException e) {
        this.stopAtException(e);
        throw e;
    }
    this.started.set(true);
}

NameNode 初始化细节

initialize 方法完成 NameNode 的初始化，包括启动 HTTP 服务器、加载镜像文件和编辑日志等：

protected void initialize(Configuration conf) throws IOEx