hadoop复习题.docx

【Hadoop概述】 Hadoop是Apache软件基金会的一个开源框架，主要设计用于处理和存储大量数据。这个框架的核心组件包括HDFS（Hadoop Distributed File System）、YARN（Yet Another Resource Negotiator）以及MapReduce。 1. **HDFS**：HDFS是分布式文件系统，它将大型数据集分割成块并分布在多台服务器上，以实现高可用性和容错性。HDFS遵循Master/Slave架构，由NameNode（主节点）负责元数据管理和客户端请求，DataNodes（从节点）存储实际数据，而Secondary NameNode则协助NameNode进行元数据备份和合并，以减轻NameNode的压力。 2. **YARN**：YARN是Hadoop的资源管理系统，负责调度和监控集群资源，如内存和CPU。ResourceManager负责全局资源调度，NodeManager管理单个节点的资源，ApplicationMaster协调应用程序的执行。 3. **MapReduce**：MapReduce是一种编程模型，用于处理和生成大数据集。它将复杂计算任务分解为Map阶段（映射）和Reduce阶段（化简）。Map阶段将数据切分成键值对，然后Reduce阶段将相似键的值聚合在一起，进行计算。 4. **Hadoop环境配置**：安装Hadoop涉及解压软件包，配置环境变量，包括JAVA_HOME和HADOOP_HOME，以及确保环境变量生效。验证安装成功的方法是检查JDK和Hadoop版本。 5. **HDFS数据存放**：HDFS采用3个副本策略，其中第一个副本通常存放在写入数据的节点，第二个副本放在不同机架的节点，第三个副本在同一机架但不同节点，以优化网络带宽利用。 6. **YARN工作模式**：YARN采用主从架构，ResourceManager分配资源，NodeManager管理节点资源，ApplicationMaster负责应用程序执行。 7. **HBase与LSM树**：HBase是一个基于HDFS的分布式NoSQL数据库，它使用LSM（Log-Structured Merge Tree）树来存储数据，以实现快速读写操作。 8. **Zookeeper**：Zookeeper是一个分布式协调服务，解决分布式环境中的数据一致性问题，确保多个节点对共享数据的访问一致性。 9. **Mahout**：Mahout是一个机器学习库，支持多种算法，并与Hadoop集成，以在大规模数据集上进行高效学习。 10. **Hadoop生态圈核心部件**：Hadoop的核心部件包括YARN（资源管理），HDFS（分布式存储）和MapReduce（分布式计算）。 11. **Secondary NameNode**：Secondary NameNode负责合并NameNode的edit logs和fsimage，以减小NameNode重启时间。 12. **Hive**：Hive是一个数据仓库工具，将SQL查询转化为MapReduce作业，适用于数据分析、ETL（提取、转换、加载）和数据仓库构建。Hive的数据计算依赖于MapReduce，简化了对大数据的分析。 Hadoop是一个强大的大数据处理平台，涵盖了从数据存储、资源管理到数据分析的全方位功能，其生态系统还包括HBase、Zookeeper、Mahout和Hive等多个组件，共同构成了大数据处理的基石。