基于CDH（Cloudera Distribution Hadoop）的大数据平台搭建

最新推荐文章于 2025-06-24 17:39:58 发布

置顶

数据社

最新推荐文章于 2025-06-24 17:39:58 发布

阅读量1.9w

点赞数 2

CC 4.0 BY-SA版权

文章标签： centos linux 数据库运维 docker

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/WindyQCF/article/details/107888749

“Apache Hadoop存在版本管理混乱、部署过程繁琐、升级过程复杂、兼容性差、安全性低等问题，CDH是Hadoop商业发行版之一，本文介绍基于Cloudera Manager的Cloudera Hadoop 6.1.0大数据平台搭建，简单易上手 ”

基础环境准备

1、CM和CDH包

准备cm的rpm包，cdh的parcel包，第1个链接内的需要完全下载，第2个链接内根据linux版本（centos6 or 7）下载；

cm的rpm包：
https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/
cdh的parcels包：
https://archive.cloudera.com/cdh6/6.1.0/parcels/

2、网络

若是在虚拟机上配置（须满足内存>6G，磁盘划分/至少40G，/data/10G），保证NAT模式下所有主机在同网段，且能访问外网。修改IP、网关、DNS；

vim /etc/sysconfig/network-scripts/ifcfg-ens33

首先，修改ifcfg-en33的dhcp自动分配修改为静态寻址，增加ip/掩码/网关配置；（网关不管怎么配，都不要配192.168.x.1，因为1号IP是VMnet8网卡的IP）。

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="5ed941c2-deb4-48ae-a76d-838503c8683c"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.242.134"
GATWAY="192.168.242.2"
NETMASK="255.255.255.0"
DNS1="192.168.242.2"

配置完成后通过service network restart 重启网卡设置，依然无法连接外网（ping www.baidu.com），可以增加默认dns；