
Hbase
清风千雨
大数据,java后端
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hbase安装部署
集群配置:zk集群3台 hadoop集群3台 hbase集群3台 1)上传hbase-1.3.0-bin.tar.gz2)解压3)修改配置信息JAVA_HOME=ZK=hbase-site.xml加入配置信息<!-- 设置namenode所在位置 通过rootdir设置 也就是设置hdfs中存放的路径 --> <property&am原创 2018-12-01 15:49:15 · 210 阅读 · 0 评论 -
Hbase架构以及原理
HRegionServer存储数据的地方HRegion可以看做表,其中Store为一个存储单元,MemStore是一个内存区域StoreFile是一个文件,而HFile是它的实体Hlog:记录操作信息,保证数据完整性主要是用Hbase调用hdfs客户端,把HFile保存到Hdfs当中查数据的时候Client获得Zookeeper获得的元数据,然后去指定的HRegionServer中的...原创 2018-12-01 16:41:02 · 598 阅读 · 0 评论 -
Hbase API
public class HbaseTest { //注意要配host,我第一次没配出现了RetriesExhaustedException: Can't get the locations public static Configuration conf; //获取配置信息 static { conf = HBaseConfiguration.c...原创 2018-12-10 17:21:19 · 218 阅读 · 0 评论 -
Hbase shell命令
1)创建表create ‘表名’,‘列族’2)全表扫描scan ‘表名’rowkey:行键:唯一 不重复timestamp:时间戳cell:单元格 数据存放位置column familly:列族,列族下包含多个列column:列3)向表中插入数据put ‘表名’,‘rowkey’,‘列族:列名’,‘值’4)覆盖数据在hbase中没有修改,但是可以覆盖只要保持rowkey,列...原创 2018-12-10 17:31:49 · 197 阅读 · 0 评论 -
Hbase -MR
需求1:对一张表的rowkey进行计数通过yarn调用hbase/lib下给我们提供的rowcounter程序1)查看包在hbase/bin/hbase mapredcp 可查看需要的包2)导包export HBASE_HOME=/opt/hbaseexport HADOOP_HOME=/opt/hadoopexport HADOOP_CLASSPATH = `${HBASE_HOM...原创 2018-12-10 22:17:04 · 334 阅读 · 0 评论 -
Hbase分区键(预设分区)
设置分区private static byte[][] genSplitKeys(int regions) { //存放分区键的数组 String[] keys = new String[regions]; //格式化分区键的形式 00| 01| 02| DecimalFormat df = new DecimalFormat("...原创 2019-02-19 21:26:00 · 1261 阅读 · 0 评论 -
我的项目中设计的RowKey
public static String genRegionCode(String caller, String buildTime, int regions) { int len = caller.length(); //取出主叫后四位 String lastPhone = caller.substring(len - 4); //...原创 2019-02-19 21:27:29 · 416 阅读 · 0 评论