记录点点滴滴

注意点 ：Bug :StandbyException): Operation category WRITE is not supported in state standby. 解决方案QuorumException: Got too many exceptions to achieve quorum size 2/3 解决方案Operation category READ is not supported in state standby 解决方案FileNotFoundException: java.i

数据块在 DataNode 上以文件形式存储在磁盘上 :- 数据本身- 元数据 : 数据块的长度，块数据的校验和，时间戳流程 : 1. DataNode 启动后向 NameNode 注册2. 以周期性 (6 小时) 向 NameNode 上报所有的块信息3. 通过心跳 (3 秒一次) 返回 NameNode 的命令 , 如 : 复制块数据到另一台机器，删除某个数据块4. 当超过10 分钟没有收到某个 DataNode 的心跳，就认为该节点不可用5. 集群运行中能安全加入和退出一些机器

NameNode 格式化后，Fsimage ,Edits 会在。

节点距离计算 : 如 : 数据中心 d1 机架 r1 中的节点 n1 , 该节点表示为 /d1/r1/n1。HDFS 写数据时， NameNode 会选择距离 Clinet 最近 DataNode 接收数据。Crtl + n 查找。

HDFS DataNode 容错测试情况背景场景描述实现思路预期结果操作步骤把数据上传到 HDFS设置副本数查看数据在 HDFS 情况查看数据磁盘情况将副本同时 kill查看DataNode 进程数据验证总结背景对于团队提出 HDFS 的数据节点可以宕机多少台, 不会影响数据丢失问题 , 对这个点进行展开 , 我们准备对目前集群进行分析测试

重启 HDFS 分析DataNode 注册汇报重启优化重启时优化全局读写锁重启时避免 CheckPoint优化全局计算和验证 Quota 值优化 BlockReport 处理逻辑防止备节点无工作减低 BlockReport 数深度分析总结NameNode 管理元数据 BlocksMap，描述数据块 Block 与 DataNode 节点之间的对应关系

集群存储超过阈值平均负载和磁盘存储清理集群数据方法清理回收站文件.meta 文件损坏查看日志检查文件解决方法多个 DataNode 节点存储不足设置 balancer 所能占用的带宽执行 balancer查看 Balancer 的进展定时执行 balancerDataNode 坏盘故障停止 Hadoop 上的进程DataNode 存储超过阈值查看磁盘检查 HDFS 存储坏块处理查看集群坏块的状况删除坏块查看集群坏块的状况修改表的副本数，副本数 : 2查看副本数是

常用命令查看目录下的文件列表上传文件文件被复制到本地系统中查看文件内容建立目录复制文件查看目录的健康状态check 目录下的文件查看某个目录 block 以及监控情况删除文件或目录查看目录损坏的块查看 HDFS 的基本统计信息主从切换查看 NameNode 主从状态active 从 nn1 切换到 nn2安全模式进入安全模式退出安全模式查看状态保存命名空间扩缩容Balancer手动降低目录副本体积排名前三的表当前的数据块平均副本数降副本数

HDFS 参数调优NameNode 数据目录DataNode 数据目录数据块的副本数数据块大小HDFS 做均衡时使用的最大带宽磁盘可损坏数数据传输连接数NameNode 处理 RPC 调用的线程数NameNode 处理 DataNode 上报数据块和心跳的线程数DataNode 处理 RPC 调用的线程数DataNode 最大传输线程数读写数据时的缓存大小冗余数据块删除新增块延迟汇报增大同时打开的文件描述符和网络连接上限NameNode 数据目录本地文件系统路径，决定 NN 在何处存放 fsimage

HDFS 总体状态HDFS 状态HDFS 容量是否过阈值HDFS UI 巡检Summary 巡检NameNode Journal StatusDatanode Volume FailuresNameNode 巡检NameNode 高可用是否存活NameNode 状态是否正常编辑日志同步平均时间是否过高RPC 队列长度是否过高、处理时间是否过高JVM 堆栈内存使用情况主机内存使用情况NameNode 节点主机内存NameNode 主机 CPUNameNode GCNameNo

Hadoop 扩缩Hadoop 扩容配置新服务器的环境白名单 ( 可选 )添加新服务器数据均衡Hadoop 缩容黑名单Hadoop 扩容随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点配置新服务器的环境根据以前的文档进行相应的配置https://blog.csdn.net/qq_44226094/article/details/122685082拷贝 /opt/ha/hadoop 目录和 /etc/profile.d/m

文章目录故障现象解决方案故障现象INFO [main] retry.RetryInvocationHandler (RetryInvocationHandler.java:log(411)) - org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby.解决方案把 那个 act

Operation category READ is not supported in state standby 解决方案错误现象解决方案错误现象INFO retry.RetryInvocationHandler: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby. Visit

QuorumException: Got too many exceptions to achieve quorum size 2/3 解决方案错误现象 :解决方案 :错误现象 :FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [xxx.xxx.xxx.xxx

Hadoop 生产调优HDFS—核心参数NameNode 内存生产配置NameNode 内存计算Hadoop2.x 系列， 配置 NameNode 内存Hadoop3.x 系列，配置 NameNode 内存NameNode 心跳并发配置开启回收站配置NameNode 内存生产配置HDFS—集群压测HDFS—多目录HDFS—集群扩容及缩容HDFS—存储优化HDFS—故障排除HDFS—集群迁移MapReduce 生产经验Hadoop-Yarn 生产经验常用的调优参数调优参数列表参数具体使用案例容量调度器使用公平

Hadoop MapReduce 之旅MapReduce 概述定义优缺点优点缺点核心思想进程WordCount 源码常用数据序列化类型MapReduce 编程规范WordCount 案例实操Hadoop 序列化序列化概述自定义 bean 对象实现序列化接口（Writable）序列化案例实操MapReduce 框架原理InputFormat 数据输入切片与 MapTask 并行度决定机制Job 提交流程源码和切片源码详解FileInputFormat 切片机制TextInputFormatCombineTex

错误现象FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset解决方案Windows 依赖文件夹https://gitcode.net/mirrors/steveloughran/winutils/-/tree/master/hadoop-3.0.0/bin配置 HADOOP_HOME 环境变量配置 Path 环境变量验证 Hadoop 环境变

Yarn : 资源调度平台，负责给程序提供服务器运算资源。

Hadoop 是 Apache 开发的分布式系统基础架构Google是Hadoop的思想之源（ Google在大数据方面的三篇论文）

ERROR: Cannot set priority of datanode process xxxx错误现象解决方案错误现象[root@cpucode100 sbin]# ./start-dfs.shStarting namenodes on [cpucode100]Last login: Fri Nov 12 21:00:56 CST 2021 on pts/0Starting datanodesLast login: Fri Nov 12 21:07:43 CST 2021 on pts

HDFS 产生背景 : 当数据量越来越大，一台机器无法满足，就要更多的机器，这时就需要个分布式文件管理系统来管理这些数据。

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this wor

SafeModeException: Cannot delete. Name node is in safe mode.错误现象 :解决方案错误现象 :WARN yarn.Client: Failed to cleanup staging dir hdfs://cpucode101:8020/user/cpu/.sparkStaging/application_1644582696121_0001org.apache.hadoop.hdfs.server.namenode.SafeModeExcep

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this wo

but there is no HDFS_NAMENODE_USER defined. Aborting operation.错误信息解决方案错误信息Starting namenodes on [cpucode100]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting datanodes

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this wo

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this wo

Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划概述所谓 HA（Hig