weixin_37796929的博客

一.hbase架构 1.1、HMaster 功能： 监控 RegionServer 处理 RegionServer 故障转移 处理元数据的变更 处理 region 的分配或移除 在空闲时间进行数据的负载均衡 通过 Zookeeper 发布自己的位置给客户端 1.2、RegionServer 功能： 负责存储 HBase 的实际数据 处理分配给它的 Region 刷新缓存到 HDFS 维护 H...

1HBase的KeyValue分析 在HBase写入过程中，会检查Put中每个单元格Cell的KeyValue大小是否大于设置的maxKeyValueSize。要计算KeyValue的大小就需要了解KeyValue的的格式以及占用空间的计算方式。本文结合官方文档和源码对KeyValue的格式和空间计算进行分析和总结，便于后续继续分析HBase写入过程。 KeyValue的格式 KeyValue类是...

一、方式介绍 本次测试一种采用了四种方式进行了对比，分别是： 1.在RDD内部调用java API。 2、调用saveAsNewAPIHadoopDataset（）接口。 3、saveAsHadoopDataset（）。 4、BulkLoad方法。 测试使用的大数据版本如下（均为单机版）：Hadoop2.7.4、Hbase1.0.2、Spark2.1.0 二、测试 本次测试采用10W条单一列簇单一...

1