CDH集群HDFS磁盘扩容及去除磁盘的问题

新增

将磁盘挂载到指定的目录下

1.为新磁盘创建分区
fdisk -l

2. 指定磁盘创建分区
fdisk /dev/vdb
Command (m for help): n(n表示创建分区)
Partition type:(表示磁盘有两种分区类型：
“p”表示主分区。
“e”表示扩展分区。)
(磁盘使用MBR分区形式，最多可以创建4个主分区，或者3个主分区加1个扩展分区，扩展分区不可以直接使用，需要划分成若干个逻辑分区才可以使用。

磁盘使用GPT分区形式时，没有主分区、扩展分区以及逻辑分区之分)
p primary (0 primary, 0 extended, 4 free)

e extended

Select (default p): p

Partition number (1-4, default1): 1

First sector (2048-2199023255552, default 2048): 2199023255552

Using default value 2048

Last sector, +sectors or +size{K,M,G}(2048-2199023255552, default 2199023255552):

Using default value 2199023255552

Command (m for help): w

The partition table has been altered!

3.修改/etc/fstab
blkid (查看分区的UUID号)

vi /etc/fstab
添加

UUID=c8dd557d-29c1-4a1d-8704-d555cb01678d /dfs/dn ext4 defaults 0 2
4.挂载
mount /dev/vdb1 /dfs/dn
5.重启
reboot 或 init 6

成功挂载

扩容

启动HDFS报错如上图
原因:将新增磁盘挂载到了原来的磁盘位置上,导致文件权限的问题
解决:重新挂载磁盘到新的目录下,或者赋值文件的权限,建议是重新挂载,然后赋值,新建集群倒是无所谓~
umount /dev/vdb1
mkdir /dfs/dn1
mount /dev/vdb1 /dfs/dn1
vi /etc/fstab (将上面写的目录改一下,解释一下这个,这个的目的是为了重启的时候能够自动的挂载)
重启机器看下是否挂载无误

重启之前记得正确的关闭集群,如果你的是上线的集群,那么可以采用滚动的方式重启机器,一台一台的加
systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent
注意顺序

重启之后,记得给目录赋值权限
chown -R hdfs:hadoop /dfs/dn1

在配置中加上:

重启DFS即可

减少

原因:云主机的主磁盘太小,如果把它作为数据节点,那么存储不了多少,就会因为集群的磁盘问题,报各种错误,因此,不能将主磁盘作为数据节点,但是在搭建集群时,数据盘并没有挂载上去,所以集群是通过扩容+卸载以前的磁盘来的,具体的去掉步骤,参考下面的文章
参考https://my.oschina.net/u/3197158/blog/1601649

一些CDH的配置问题

NameNode 的 Java 堆栈大小（字节） is recommended to be at least 1GB for every million HDFS blocks. Suggested minimum value: 4.0 吉字节

修正:点击HDFS,点击配置,搜索:java heap size
修改:

NameNode and SecondaryNameNode have different heapsizes
将上图的两个值改成一样的即可

主机 master 上的内存被调拨过度。总内存分配额是 35.3 GiB 个字节，但是 RAM 只有 31.3 GiB 个字节（其中的 6.3 GiB 个字节是保留给系统使用的）。如需获得分配详细信息，请访问“主机”页面上的“资源”选项卡。重新配置主机上的角色以降低总内存分配额。请注意：Java 最大堆大小乘以 1.3 等于近似的 JVM 开销。
参考文章:
https://cloud.tencent.com/developer/article/1078935

修改:
将0.8改为了0.7,警告消失