大数据 | HBase基本工作原理

介绍Hadoop 2.0生态圈中的HBase分布式列式存储数据库的相关知识，包括HBase的基本介绍、体系结构、各部分功能、数据模型和读写流程等内容。

为何HBase速度很快

HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的，即由LSM-Tree(Log-Structured Merge-Tree) + HTable(region分区) + Cache决定——客户端可以直接定位到要查数据所在的HRegion server服务器，然后直接在服务器的一个region上查找要匹配的数据，并且这些数据部分是经过cache缓存的。 前面说过HBase会将数据保存到内存中，在内存中的数据是有序的，如果内存空间满了，会刷写到HFile中，而在HFile中保存的内容也是有序

HBase为什么查询快

每个Region包含了表中一段RowKey区间范围内的数据，HBase的一张数据表开始只包含一个Region，随着表中数据的增多，当一个Region的大小达到容量上限后会分裂成两个Region。为了提升数据操作的效率，HBase Client会在内存中缓存“hbase:meta”和用户表Region的信息，当应用程序发起下一次数据操作时，HBase Client会首先从内存中获取这些信息；上图 RegionServer的数据存储结构中Region的各部分的说明如表 Region结构说明所示。

HBase Table、行键、列族、时间戳、存储结构、region、region Server、系统架构的三个组件及协作、读写流程、Phoenix

如果没有，则从磁盘中读取，同时将读取到的数据存储到缓存中，以便后续查询。针对数据量较大的情况，HBase 采用列式存储结构，可以支持对 PB 级别数据的处理，并且还具备分布式存储和基于索引的高效查询能力。1. 列式存储结构：HBase是一种基于列式存储的数据库，与传统的行式数据库不同，HBase将同一列的数据存储在一起，相同的数据被存储在相邻的单元格中。3. 基于索引的查询：HBase支持对行键(rowkey)的索引，可以通过检索行键来快速定位数据，避免了全表扫描和遍历的过程，从而大大提高了查询速度。

HBase适合存储PB级别的海量数据（百亿千亿量级条记录），如果根据记录主键Rowkey来查询，能在几十到百毫秒内返回数据。 那么Hbase是如何做到的呢？ 接下来，介绍一下数据的查询思路和过程。 查询过程： 第1步： 项目有100亿业务数据，存储在一个Hbase集群上（由多个服务器数据节点构成），每个数据节点上有若干个Region（区域），每个Region实际上就是Hbase中一批数据的集合（比如20万条数据）。 我们现在开始根据主键RowKey来查询对应的记录，Hbase的Master帮我们迅速定位到该

HBase 是一个开源的、非关系型的分布式数据库系统，主要用于存储海量的结构化和半结构化数据。它是基于谷歌的 Bigtable 论文实现的，运行在 Hadoop 分布式文件系统（HDFS）之上，并且可以与 Hadoop 生态系统的其他组件无缝集成。 HBase 的设计目标是提供高可扩展性、实时读写和随机访问能力，这使其特别适合于需要快速处理和查询大数据集的应用场景。它采用行键（Row Key）作为主键，并使用列族（Column Family）来组织数据，数据在物理上按照行键的顺序存储，支持范围查询。

2019独角兽企业重金招聘Python工程师标准>>> ...

HFile索引结构根据索引层级不同分为2种：Single-Level 和 Multi-Level。前者表示单级索引，后者表示多级索引，一般分为2级或者3级。之所以HFile v2引入多级索引是因为，随着HFile文件越来越大，Data Block越来越多，索引数据也越来越多，大到已经无法全部加载到内存，而多级索引可以只是加载部分索引，降低内存的使用空间。

1.背景介绍 HBase 是一个分布式、可扩展、高性能的列式存储系统，基于 Google 的 Bigtable 设计。它是 Apache Hadoop 生态系统的一部分，可以与 Hadoop Distributed File System (HDFS) 和 MapReduce 等组件一起使用。HBase 提供了低延迟的读写访问，适用于实时数据处理和分析。 在大数据时代，实时数据处理和分析已经成...

问题的提出 基于hbase的实时架构图如上图所示（也有其它基于TiDB的毫秒级别的实时，这里属于伪实时H+1）。 目前报表的H+1任务的数据都是通过读取binlog消息存入导hbase的。在对这些数据做计算需要在hive上，此时也就需要把数据从hbase导入hive中。最后通过一系列计算把结果export到指定数据库. 在hbase->hive的过程中使用的方法为：现在的实...

1 HBase数据结构 1.1 RowKey 与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行，只有三种方式： 1.通过单个RowKey访问(get) 2.通过RowKey的range（正则）(like) 3.全表扫描(scan) RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存

最近了解了一下hbase，主要用于Hadoop生态，它的数据结构是一种基于列存储的高阶有序稀疏MAP，它的数据主要存储在HDFS上，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper进行分布式协同服务主要用来存储非结构化和半结构化数据。 一、数据存储结构 Hbase存储的数据由以下几部分构成： RowKey: 行键，可理解成MySQL中的主键列。 Column: 列，可理解成MySQL列。 ColumnFamily: 列族, HBase引入的概念，多个近似列集合在一起组