hadoop集群Non DFS Used占用空间迅速增长的问题

最新推荐文章于 2024-07-08 18:31:14 发布
原创 最新推荐文章于 2024-07-08 18:31:14 发布 · 5.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs

当Hadoop集群的Non DFS Used占用空间快速增加时，可能导致Remaining空间几乎耗尽。问题源于historyserver进程在删除临时文件后未释放文件句柄，导致Non DFS Used数值异常增大，而实际磁盘空间使用情况正常。解决方法是检查并优化historyserver的文件句柄管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hdfs Non DFS Used 占用空间大，用du -h 看磁盘空间还在，但web页面显示Non DFS Used占用了特别多的空间，整个集群的Remaining空间几乎没有了

解决方案：
                重启hadoop 的 historyserver 
                 mr-jobhistory-daemon.sh start historyserver
                重启dfs
                start-dfs.sh


产生的原因：

             因为集群里启动了historyserver，这个进程在删除了临时文件之后，并没有释放文件句柄，所以导致Non DFS Used 数值很大，而用df和du查看的时候，磁盘空间并未被占用



最低0.47元/天 解锁文章

200万优质内容无限畅学
bottle123
关注
HDFS中Non DFS Used使用过大
心向，往之
11-06 6799
问题描述： 在namenode页面发现，好多主机的Non DFS Used使用非常大，大大减少了HDFS磁盘剩余可用容量，存在异常 通常，Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量 而配置容量 = 总容量 - 预留空间（总容量为磁盘的总大小，预留空间为默认的5%） 所以，Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量 ...
查看Hadoop集群的基本信息
qq_59947103的博客
10-05 7266
1.1查看Hadoop集群的存储系统信息（浏览器查看） http://vincen:50070 configured Capaeity:已配置的文件系统存储总量 DFS Remaining:可使用的DFS存储总量 Non DFS Used:被非DFS得应用所占用的存储总量 DFS Used:已使用的DFS存储总量 Live Node:在线的数据节点（DataNode） 各存储容量之间的关系： Configured Capacity=Non DFS Used+DFS Used+...
记一次HDFS空间清理：Non DFS Used
激进的蜗牛
10-23 5368
文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。 发现问题 入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的数据量实在是庞大。 但随着入职时间的增加，在进行日常运维的时候发现了一些不太合乎逻辑的问题。比如我们看到的告警信息如下 机器的总容量是7.8T
非DFS使用空间
weixin_33908217的博客
11-22 283
非DFS使用空间是指DFS数据存储目录所属卷的非DFS数据占用的空间。 计算公式: 非DFS使用空间 = 卷的总空间 - hdfs Reserved每个卷的预留空间*卷数 - DFS使用空间 - 剩余可用空间 说明： ext2/ext3/ext4 文件系统会为root用户预留5%的卷空间，因此非DFS使用空间实际等于DFS数据存储目录所属卷的非...
关于hadoop hdfs中Non DFS Used占用很大的问题分析处理
TURING.DT
04-20 6797
今天帮一个朋友处理hdfs上Non DFS Used占用很大的问题， 从hadoop UI界面看到的节点信息存储容量： Capacity| Used| Non DFS Used| Remaining 4.46T| 1.69T| 1.46T| 1.31T Non DFS Used怎么有这么大，于是先看看dfs.datanode.du.reserved配置，10G很正常，那去看看dfs.dat
Hadoop hdfs界面：Hadoop Non DFS Used大小问题
TURING.DT
11-17 6444
最近研究hadoop hdfs 中NonDFSUsed容量是什么，Non DFS Used为非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件。 有的时候你会发现HDFS UI界面上显示的Non DFS Used很大，但实际的服务器上都没有那么大的空间了，看看下边的解释： Non DFS Used = Configured Capacity
hadoop之non dfs used
zxl1033394132的专栏
09-11 2542
最近总是被问到ambari上显示的磁盘上磁盘使用率上non dfs used是指什么，之前的回复都是“不是hdfs使用的空间，比如说系统linux本身文件占用的空间等”，朋友表示解释的不够准确。无意间看到一个老外在stackoverflow上写的例子，感觉还是很有道理的，表述如下： “non dfs used”可以通过如下公式进行计算：non dfs used = configured capac
Hadoop之Non DFS Used大小分析
breakout_alex的博客
03-19 964
Non DFS Used为非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件。 计算公式：Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量 具体计算过程： Non DFS Used = Configured Capacity - Remaining Space - DFS Used Configured Capacity =...
如何查看存储系统信息？Configured Capacity、DFS Remaining、Non DFS Used、DFS Used、Live Nodes分别表示什么？
最新发布
11-01
2. **DFS Remaining**: 即Distributed File System剩余容量，显示当前集群中可供使用的未被占用的空间。 3. **Non DFS Used**: 这部分通常指的是Hadoop之外的数据使用，比如操作系统日志、应用程序缓存等非HDFS目录...
hadoop集群加密问题汇总
Siobhan_Mxin的博客
03-13 2422
1、hadoop集群3个节点启动正常，但是namenode和datanode之间无法正常通讯 2、启动mapreduce作业时，无法启动，报namenode安全模式（safe mode） 3、提交mapreduce作业，map阶段正常，reduce阶段失败，报虚拟内存不足 4、mapreduce作业正常执行，map阶段可以正常结束，但reduce失败，报错 5、如何扩充vbox虚拟盘
hadoop命令 - Hadoop Non DFS Used concept
Mrknowledge
09-27 3472
使用hadoop dfadmin –report,结果如下： [grid@h1 hadoop]$ bin/hadoop dfsadmin-report Configured Capacity: 33518518272 (31.22 GB) Present Capacity: 17089126400 (15.92 GB) DFS Remaining:17088819200 (15.9
hadoop Non DFS Used是什么
weixin_30471561的博客
11-13 274
首先我们先来了解一下Non DFS User是什么？ Non DFS User的意思是：非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件 它的计算公式： non dfs used = configured capacity - remaining space - reserved space 如果给datanode配置了预留磁盘空间参数的...
datanode非dfs预留空间设置
Adolph的专栏
10-27 967
在使用hdfs存储的时候可能会遇到一个问题：明明设置hadoop dfs.datanode.du.reserved预留空间的，但是磁盘还是被写满了。 当你挂载磁盘作为datanode的存储空间，如果磁盘大小为500G当你使用df -h 可能会发现上面显示（举个例子）：总磁盘大小500G，使用了430G，剩余50G，这里就会有个问题：500G-（430G+50G）=20G，  还差了20G空
non dfs used 和dfs remaining区别
chuanjiaoye5017的博客
05-14 853
DFS Used hadoop文件系统所使用的空间Non DFS Used 非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件 转载于:http...
Hadoop Non DFS Used
那又怎样？的博客
10-30 431
转载来自：https://blog.csdn.net/u014297175/article/details/48679321 Non DFS Used大小的核心解释：配置的dfs的空间中有多少被不是hdfs的文件占用了
HDFS非DFS存储突增问题分析
sunxunyong的博客
07-08 565
Reserved Space指的是配置项(dfs.datanode.du.reserved)所配置的内容，是HDFS自己预留的，一般为30G。当HDFS配置容量暴增，但是HDFS使用的存储并没有突增时，考虑Non DFS Used占用增大。Non DFS Used是指DFS数据存储目录所属卷的非DFS数据占用的空间！例如：Impala程序存在大量溢出内存，到磁盘的数据！分析HDFS数据目录，查看其他程序占用增大，定位问题点。DFS Used指的是HDFS使用的空间。
Hive使用一段时间后Hadoop集群占用空间暴增的原因
摩西莫西
02-25 559
我使用的是hive。 所有的数据也是在hive中 load data inpath 导入的 导入的数据时保存到虚拟路径 hdfs:////user/hive/warehouse 以一个表一个文件夹的形式 两天来一直面对着一个困惑 从hive中load进去的数据只有600G但是页面显示的DFS Used却为4.2T 这个数据时很不正常的 因为简单地算一下 600G dfs.re...
HADOOP 磁盘满
cfy_yinwenhao的专栏
01-11 2205
由于hadoop集群的机器磁盘容量大小不等，造成磁盘使用率不同，有的使用了10%，而有的已经100%，这个对整个系统的运行是有问题的。   暂时还没有找到控制磁盘使用率的参数，可以通过hadoop命令行来手动调节磁盘的使用情况。   > hadoop  balancer -Threshold 20   或者 sh $HADOOP_HOME/bin/start-balancer.sh –t
记一次hadoop磁盘空间满的异常
三劫散仙
07-14 1081
[b][color=green][size=large]本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。 起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！ 下面散仙模拟当时的环境，...
Hadoop实战：DFS命令行工具操作分布式集群解析
"王家林的‘云计算分布式大数据Hadoop实战高手之路---从零开始’的第六讲，主要讲解如何使用HDFS命令行工具操作Hadoop分布式集群，这是王家林发布的三本Hadoop教程之一，旨在帮助学习者无痛入门Hadoop并提升到高手...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值