kxj19980524的博客

先配置hbase和hadoop的环境变量,因为它是使用命令执行mapreduce程序,环境变量只是临时用一下,不用永久配置到/etc/profile里面,执行export命令就是在当前会话中可以使用这个环境变量.执行环境变量导入$ export HBASE_HOME=/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/$ export HADOOP_HOME=...

导入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>0.98.6-hadoop2&l...

进入HBase客户端命令操作界面 bin/hbase shell查看帮助命令help显示服务器状态显示HBase当前用户查看当前数据库中有哪些表 list创建一张表 create 'student','info' student表名 info列族名创建多个列族：hbase&gt...

首先这个配置不能写死成固定节点,不然不能配置高可用,直接写端口就可以了.详细配置在https://blog.csdn.net/kxj19980524/article/details/89639912在HBase集群的基础上进行高可用,选择第一台机器节点为主节点,在它的HBase的conf文件夹下,创建backup-masters文件在里面添加高可用的节点,我现在集群有三台,...

服役（commissioning）当启动regionserver时，regionserver会向Hmaster注册并开始接收本地数据，开始的时候，新加入的节点不会有任何数据，平衡器开启的情况下，将会有新的region移动到开启的RegionServer上。如果启动和停止进程是使用ssh和HBase脚本，那么会将新添加的节点的主机名加入到conf/regionservers文件中。退役（de...

hbase-chd发行版https://download.csdn.net/download/kxj19980524/11149638配置hbase-env.sh配置hbase-site.xml<configuration> <property> <!-- hbase根目录,,如果hadoop集群是高可用的话,带高可用名称,别写死节点...

配置sqoop准备工作,在MySQL创建表数据CREATE TABLE book(id int(4) PRIMARY KEY NOT NULL AUTO_INCREMENT, name VARCHAR(255) NOT NULL, price VARCHAR(255) NOT NULL);INSERT INTO book(name, price) VAL...

HBase与Hive的对比Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。用于数据分析、清洗Hive适用于离线的数据分析和清洗，延迟较高基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。（不要钻不需要执行Map...

还是用05里面的案例,只不过是自定义的mapreduce程序编写步骤其实该案例的思想和06没有太大不同，思路总体还是一样的，只不过这次Mapper不是从HBase的表里读取数据了，而是从HDFS上的文件中读取数据，所以Mapper可直接继承自HDFS的Mapper。Mapperpackage com.buba.mapper;import java.io.IOExcepti...

案例操作:把HBase中一张表的数据导入到另一张表中源数据插入到这张表中主要是看这个HBase写MapReduce和Hadoop的MapReduce的不同,Mapper里面是把HBase里的数据拿出来,这个过程可以自己加一些清洗数据,或者是过滤一些字段的功能,主要是看这个用法.Mapperpackage com.buba.mapper;import java.io...