hadoop笔记2.pdf

根据提供的文件信息，我们可以了解到有关大数据和Hadoop的详细知识点。以下是基于文件内容的知识点梳理： **大数据的基本概念** 大数据指的是无法在一段合理的时间范围内用常规软件工具捕捉、管理和处理的数据集合。大数据的特点是海量、高增长率和多样化，需要新的处理模式才能实现更强的决策力、洞察发现力和流程优化能力。大数据的存储单位从bit到YB（Yottabyte）不等，包括了Byte、KB、MB、GB、TB、PB、EB、ZB、YB等。 **Hadoop的定义与功能** Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要用于解决海量数据的存储和分析计算问题。Hadoop是一个生态圈，而不是单一产品，它包括Hive、Hbase、Zookeeper、Cassandra、Solr等众多组件。 **Hadoop的发展历史** Hadoop的发展与Lucene框架有着密切的联系，后者由Doug Cutting创建，最初是Apache基金会的一个子项目。在2003至2004年间，Google公开了GFS（Google File System）和MapReduce的细节，启发了Doug Cutting等人开发了Nutch的DFS（Distributed File System）和MapReduce机制，使得Nutch的性能大幅提升。2005年，Hadoop作为Nutch的子项目被引入Apache基金会。2006年，MapReduce和NDFS成为Hadoop项目的一部分，Hadoop正式诞生。 **Hadoop的主要发行版本** Hadoop的三个主要发行版本包括Apache、Cloudera、Hortonworks。Apache版本是最初的开源版本，适用于学习。Cloudera成立于2008年，是最早将Hadoop商用化的公司之一，提供了CDH、Cloudera Manager和Cloudera Support等产品。Hortonworks成立于2011年，其主打产品为Hortonworks Data Platform（HDP），也是开源产品。Hadoop的商用产品往往提供比Apache Hadoop更强的兼容性、安全性、稳定性，以及技术支持。 **Hadoop的存储与计算机制** Hadoop的核心包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是高可靠性的分布式文件系统，具有高扩展性、高效性和高容错性。HDFS底层通过维护三个数据副本的方式保证了高可靠性。MapReduce是一种编程模型和处理大数据集的并行算法，用于高效地进行大规模数据分析。 **Hadoop集群的管理与维护** Cloudera Manager是Cloudera提供的一种集群管理工具，可以快速部署和监控Hadoop集群。Hadoop的Common辅助工具集成了HDFS的数据存储、MapReduce的计算和资源调度功能。YARN（Yet Another Resource Negotiator）是Hadoop的资源管理平台，负责资源的分配和任务调度。 **Hadoop的商业应用** Hadoop商业版本的运营企业，比如Cloudera和Hortonworks，通常会收取一定的费用。这些费用用于提供技术支持、咨询服务和培训等。此外，商业版Hadoop还会开发一些特定的特性，如Cloudera的Impala项目用于实时处理大数据。 **Linux命令和shell编程** 搭建Hadoop大数据平台通常需要在Linux环境下进行，因此掌握基本的Linux命令和shell编程是必不可少的技能。例如，在安装和配置Hadoop集群时，需要使用Linux命令进行环境设置，以及编写shell脚本来自动化管理任务。 在搭建Hadoop大数据平台时，通常会用到CentOS这个稳定的操作系统。在新建CentOS7虚拟机时，需要注意配置根目录（root）以及网络等系统设置，以保证系统的正常运行。 Hadoop平台的搭建涉及到对大数据概念的理解，对Hadoop生态圈内各组件的认识，对Hadoop历史发展和技术演进的把握，以及对Linux操作系统和shell编程的熟练应用。这些都是构建和管理一个稳定高效的大数据平台不可或缺的知识点。