Centos+Hadoop+Hive+HBase

### Centos+Hadoop+Hive+HBase 环境搭建详解 #### 一、Centos基础环境搭建 ##### 1.1 软件准备 为了搭建一个基于Centos的操作系统，需要准备以下软件： - **VMware-workstation-full-8.0.4-744019.exe**：这是VMware工作站的安装程序，用于创建虚拟机环境。 - **CentOS-6.2-i386-bin-DVD1.iso**：这是CentOS 6.2版本的ISO镜像文件，用于安装操作系统。 ##### 1.2 Centos简介 CentOS是一种免费的Linux发行版，基于Red Hat Enterprise Linux (RHEL) 的源代码构建而成。它的主要特点是长期支持周期、稳定的版本发布以及对企业级应用的高度兼容性。 - **长期支持**：每个版本的CentOS都将获得长达十年的安全更新支持。 - **版本发布**：新版本大约每两年发布一次，并且每个版本每隔六个月会有一次更新，以支持新的硬件设备。 - **稳定性与安全性**：CentOS致力于提供一个安全、低维护、稳定、可预测性强的Linux环境，非常适合企业部署。 ##### 1.3 安装过程 如果之前已经安装了VMware但未完全卸载，可以使用 `Vmware_Unistall_1_1.exe` 进行彻底清除。接着按照以下步骤创建并安装CentOS虚拟机： 1. **打开VMware**：选择“文件” -> “新建虚拟机” -> “自定义” -> “Workstation 8.0”。 2. **选择安装介质**：选择“安装光盘映像文件”并指定ISO文件的位置。 3. **配置虚拟机**： - 操作系统选择：CentOS。 - 文件位置：指定虚拟机文件的保存路径。 - 内存大小：至少分配512MB内存。 - 网络连接类型：NAT模式。 - 显示器：自动检测。 - 创建一个新的虚拟硬盘：SCSI接口，20GB容量，分割成多个文件。 4. **完成设置**：点击“完成”。 #### 二、搭建JDK与Hadoop环境 ##### 2.1 准备软件 为了搭建JDK和Hadoop环境，需要以下软件包： - **jdk-6u31-linux-i586.bin**：这是Java Development Kit (JDK) 的安装文件。 - **hadoop-1.0.0.tar.gz**：这是Hadoop的压缩包。 ##### 2.2 JDK环境搭建 接下来详细介绍如何在CentOS环境下安装和配置JDK： 1. **安装VMware的共享工具**：通过VMware自带的共享功能将本地文件夹与虚拟机共享。 - 打开虚拟机设置，选择“选项” -> “共享文件夹” -> “总是启用” -> “添加”。 - 选择本地文件夹作为共享目录（例如：`F:\TDDownload`），并在CentOS系统中访问对应的共享目录 `/mnt/hgfs/TDDownload/`。 2. **复制JDK与Hadoop文件**：确保JDK和Hadoop文件已经被正确地复制到了共享目录 `/mnt/hgfs/TDDownload/` 下。 3. **切换到root用户**：使用 `su root` 命令切换至root用户，并输入root密码。 4. **安装与配置JDK**： - 将JDK文件复制到 `/home/hadoop/` 目录下。 - 执行 `./jdk-6u31-linux-i586.bin` 安装JDK。 - 重命名安装目录为 `/home/hadoop/jdk`。 - 修改 `/etc/profile` 文件，添加以下内容以设置JDK环境变量： ```bash # set java environment export JAVA_HOME=/home/hadoop/jdk export JRE_HOME=/home/hadoop/jdk/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin ``` - 使用 `source /etc/profile` 命令使环境变量生效。 以上步骤完成了Centos下的JDK安装及配置，为后续搭建Hadoop集群打下了坚实的基础。 #### 总结 本文详细介绍了如何在Centos虚拟机环境中安装和配置JDK与Hadoop的基本流程。这为后续Hive与HBase等大数据组件的部署奠定了基础。需要注意的是，在实际操作过程中可能会遇到各种问题，例如网络配置、权限问题等，这些问题都需要根据实际情况逐一解决。此外，考虑到技术的快速发展，建议关注最新的官方文档和技术论坛，获取最新版本的安装指南和支持。