Ambari部署大数据环境文档

### Ambari部署大数据环境知识点概述 #### 一、Ambari简介 - **定义**：Ambari是一款开源的工具，主要用于简化Apache Hadoop集群的部署、管理和监控过程。 - **功能**：Ambari提供了图形化界面，使得用户能够更加直观地管理Hadoop集群。它支持多种Hadoop生态系统组件的安装与配置，并能够实时监测这些组件的状态。 #### 二、部署环境准备 - **操作系统**：本部署文档中指定的操作系统为CentOS 7.2。 - **软件版本**：文档提到的软件版本包括JDK 8u91和MySQL 5.7.13，需要注意的是，这些版本号可以根据实际情况进行调整。 #### 三、操作系统环境准备 1. **检查DNS和NSCD** - **DNS配置**：在每个节点上配置/etc/hosts文件，以确保正确解析主机名。例如，将IP地址与主机名映射起来。 - **NSCD配置**：启用Name Service Caching Daemon (NSCD)来减轻DNS服务器的压力。通过编辑/etc/nscd.conf文件来配置NSCD，并重启nscd服务。 2. **SSH免密码登录** - **设置方法**：在每个节点上创建~/.ssh/目录，生成RSA密钥，并将公钥复制到其他节点以实现免密码登录。 3. **创建Ambari系统用户和用户组** - **创建用户**：在主节点上添加Ambari安装、运行用户和用户组。例如，使用`adduser ambari`命令创建新用户，并设置密码。 4. **开启NTP服务** - **CentOS 7**：使用`yum install ntp`安装NTP服务，并通过`systemctl enable ntpd`启用服务。 - **CentOS 6**：同样使用`yum install ntpd`安装NTP服务，并通过`chkconfig ntpd on`设置开机启动。 5. **关闭防火墙** - **CentOS 7**：使用`systemctl disable firewalld`和`systemctl stop firewalld`关闭防火墙。 - **CentOS 6**：使用`chkconfig iptables off`和`/etc/init.d/iptables stop`关闭防火墙。 6. **关闭SELinux** - **查看状态**：使用`sestatus`命令查看SELinux的状态。 - **临时关闭**：使用`setenforce 0`临时禁用SELinux。 - **永久关闭**：编辑`/etc/sysconfig/selinux`文件，将SELINUX设置为`disabled`，并重启服务器。 #### 四、制作本地源 1. **安装Apache HTTP服务器** - **安装HTTP服务器**：使用`yum install httpd`安装Apache HTTP服务器，并允许http服务通过防火墙。 - **启动服务**：使用`systemctl start httpd.service`启动服务，并通过`systemctl enable httpd.service`设置开机启动。 2. **安装本地源制作相关工具** - **安装工具**：使用`yum install yum-utils createrepo`安装所需的工具。 3. **下载安装资源** - **资源下载**：根据实际需求下载Ambari和HDP的安装资源。例如，文档中提到的Ambari 2.2.2和HDP 2.4.2的安装资源。 - **注意事项**：Ambari版本的选择应与HDP版本相匹配。 #### 五、总结 通过上述步骤，我们可以成功地在CentOS 7.2上部署Ambari来管理Hadoop集群。这些步骤不仅涵盖了操作系统级别的准备，还涉及到了网络配置、安全设置以及安装资源的准备。整个过程中，Ambari作为核心工具，极大地简化了大数据环境的部署流程，使用户能够更加专注于业务逻辑而不是繁琐的技术细节。