大数据HBase（十四）：HBase的原理及其相关的工作机制

已于 2022-10-05 00:18:29 修改
阅读量3.7k 收藏 52
点赞数 32
CC 4.0 BY-SA版权
分类专栏： 大数据入门核心技术 # HBase 文章标签： HBase的原理 HBase的相关的工作机制 HBase工作机制 HBase基本原理
于 2021-07-24 15:06:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoweite1/article/details/119057796
本文详细介绍了HBase的flush刷新、storeFile合并、split机制、regionServer上下线及Master的上线和下线流程。重点讲解了hbase2.0的flush策略，包括基本型、饥渴型和适应型，并探讨了如何配置内存合并策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 文章目录

系列历史文章

HBase的原理及其相关的工作机制

一、HBase的flush刷新机制(溢写合并机制)

hbase2.0: flush溢写的流程说明

2.0中内存合并的策略:

如何配置内存合并策略:

二、HBase的storeFile的合并机制

三、Hbase的split机制(region分裂)

四、regionServer的上线流程

五、regionServer的下线流程

六、master的上线和下线

1、Master上线

2、Master下线

HBase的原理及其相关的工作机制

一、HBase的flush刷新机制(溢写合并机制)

hbase2.0: flush溢写的流程说明

flush溢写流程:   hbase 2.0版本后的流程
      随着客户端不断写入数据到达memStore中, memStore内存就会被写满(128M), 当memStore内存达到一定的阈值后, 此时就会触发flush刷新线程, 将数据最终写入HDFS

了解本专栏 订阅专栏 解锁全文
分布式数据库 （1）第一章 HBase运行机制
VAN
06-05 586
本章内容 HBase介绍 HBase特点 HBase的数据模型 HBase的架构体系 HBase介绍(1) HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。 高可靠，高性能，面向列，可伸缩的分布式存储系统
HBase主要运行机制（物理存储和逻辑架构）
大数据基础学习
06-27 2117
本节将对 HBase 的主要运行机制进行简单介绍。 HBase 的物理存储 HBase 表中的所有行都是按照行键的字典序排列的。因为一张表中包含的行的数量非常多，有时候会高达几亿行，所以需要分布存储到多台服务器上。 因此，当一张表的行太多的时候，HBase 就会根据行键的值对表中的行进行分区，每个行区间构成一个“分区（Region）”，包含了位于某个值域区间内的所有数据，如图 1 所示。 ...
HBase工作机制
只有光头才能强的博客
11-18 351
1 图示 2 组件说明 Client ： hbase客户端，1.包含访问hbase的接口。比如，linux shell，java api。2.除此之外，它会维护缓存来加速访问hbase的速度。比如region的位置信息。 Zookeeper ： 1.监控Hmaster的状态，保证有且仅有⼀个活跃的Hmaster。达到高可用。2.它可以存储所有region的寻址入口。如：root表在哪⼀台服务器上。3. 实时监控HregionServer的状态，感知HRegionServer的上下线信息，并实时通知
HBase的工作机制
DP323的博客
05-26 472
一、基本工作机制 1、表（table）按区域（region）进行横向划分：region0(00000~99999)、region1(100000~999999)、region2……表不断增大，依次划分成多个region； 2、表（table）按列族（columfamily）进行竖向划分：列族1、列族2…………，列族是固定的； 3、多个hbase服务器（也称为region server，部署在datanode上）负责管理各个region，一个region server可以管理不同表上的region；
HBase的工作机制详解
LBJ_小松鼠的博客
01-08 355
1. 读数据流程 从zookeeper找到meta表的region的位置，然后读取meta表中的数据。而meta中又存储了用户表的region信息 根据namespace、表名和rowkey根据meta表中的数据找到对应的region信息 找到对应的regionserver，查找对应的region 从MemStore找数据，再去BlockCache中找，如果没有，再到StoreFile上读 可以把MemStore理解为一级缓存，BlockCache为二级缓存，但注意scan的时候BlockCache意义
HBase入门：运行机制
缘友一世的博客
01-27 1625
这种方式的缺点：如果一个 Region 服务器发生故障，为恢复其上的Region 对象，需要将 Region 服务器上的 HLog 按照其所属的 Region 对象进行拆分，然后分发到其他 Region 服务器上执行恢复操作。系统根据每条日志记录所属的 Region 对象对 HLog 数据进行拆分，分别放到相应 Region 对象的目录下，然后将失效的 Region 重新分配到可用的 Region 服务器中，并把与该 Region 对象相关的HLog 日志记录也发送给相应的 Region 服务器。
HBase权威指南：探索大数据存储
书中详细介绍了HBase的相关知识，包括其设计原理、使用方法以及实际应用案例。HBase是构建在Hadoop之上的分布式列式数据库，特别适合处理大规模数据。 在书的前言部分，作者提到了本书的一些约定，如使用的技术标记...
【大数据高效处理】：HBase MapReduce编程模型实践案例
![【大数据高效处理】：HBase MapReduce编程模型实践案例]...这两种技术在处理大数据时提供了强大的可扩展性和容错能力，成为很多大数据
Hadoop大数据技术教学大纲：搭建、原理与应用实践
"《Hadoop大数据技术与应用》是一门针对数据科学和大数据方向的本科生必修课程，旨在让学生深入理解和应用Hadoop平台及其主要组件。课程内容包括理论讲解和实践操作，涵盖Hadoop框架、环境搭建、MapReduce编程、...
HBase安装教程及其基本操作与原理解析
最新发布
11-10
安装部分包括环境准备、下载和解压安装包、配置HBase相关文件（如hbase-env.sh、hbase-site.xml）、启动HBase等步骤。基本操作包括启动HBase Shell、创建表、插入数据、查询数据、更新数据、删除数据、删除表等。...
HBase运行机制概览
gentlezuo的博客
08-21 362
HBase运行机制概览
HBase 工作机制及读写流程
BigData_Hubert的博客
09-04 1179
HBase 一图看懂 HBase 架构 HBase 最常用的shell操作 HBase 工作机制及读写流程 HBase 工作机制及读写流程HBase前言HBase 工作机制Master工作机制Master 上线Master下线RegionServer 工作机制Region 管理region server上线region server下线HBase 读写流程HBase 读流程HBase 写流程flush 机制Compact合并操作Region Split操作 前言 本篇博客，为大家梳理 HBase 工
大数据之Hbase:Hbase工作机制
weixin_43597208的博客
06-08 376
目录1.hbase工作机制示意图2.hbase工作机制详细解析 1.hbase工作机制示意图 2.hbase工作机制详细解析 habse的整体工作机制是接受客户端发来的请求命令，从hdfs中读取表文件信息返回给客户端； 每个hbase服务器负责表文件中对应region区域，hdfs上表文件的存储也是分为每个region单独存储，每个region中又分为多个列族存储； hbase集群中有两种角色，regionserver和master，regionserver负责响应客户端请求，读取表文件； 　maste
大数据原理分析
weixin_34381687的博客
01-13 591
大数据原理分析 第一是大数据的数据获取方式： 数据清洗是将重复，多余的数据筛选清除，将缺失的数据补全完整，将错误的数据纠正或者删除；最后整理成我们可以进一步使用和加工的数据保存到数据库中。 所谓的数据清洗也就是ETL处理，包括抽取Extract,转换TRANSFORM,加载LOAD这三大法宝。 数据清洗的步骤一般都包括：分析数据，缺失...
HBase的原理及运行机制
大数据
05-27 2445
一、Hbase体系结构 1.HBase客户端 HBase客户端（Client）提供了Shell命令行接口、原生Java API编程接口、Thrift/REST API编程接口以及MapReduce编程接口。HBase客户端支持所有常见的DML操作以及DDL操作，即数据的增删改查和表的日常维护等。其中Thrift/REST API主要用于支持非Java的上层业务需求，MapReduce接口主要用于批量数据导入以及批量数据读取。 HBase客户端访问数据行之前，首先需...
HBase实现原理及运行机制
qq_39579290的博客
03-17 2181
HBase原理
HBase的核心工作机制
yqqの博客
04-09 446
​ 指的是当StoreFile不断的进行合并操作, 这个大的HFile就会变得越来越大, 当这个HFile达到一定阈值后, 就会触发Split分裂机制。思考: 请问 多个Master启动后, 如何选定谁成为Active Master呢?思考: Master是如何感知到RegionServer上线和下线呢?思考: 如果从一开始, 就有大量的并发, 如何解决呢?思考: 为啥要分裂呢?相关配置: hbase-site.xml。针对某一个表的列族开启: 优先级最高的。为什么是最终10GB呢?
HBASE整体工作机制示意图
RobertDowneyLm的博客
05-19 3955
hbase的实现原理和运行机制
mmknzb的博客
12-08 2077
hbase的实现原理和运行机制hbase的实现原理Hbase的功能组件库函数：HMaster：HRegionServerHRegion定位RegionHbase的运行机制Hbase的架构缓存刷新机制StoreFile合并与分割写入数据读取数据国家开放大学（原名沈阳电大） hbase的实现原理 Hbase的功能组件 库函数： 一般用于连接每个客户端，客户端能够利用库函数访问Hbase的数据 HMa...
评论 52
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值