
Hadoop
文章平均质量分 76
秦同学学学
暂时停止网络相关知识更新,主要专心学习并分享C语言.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据平台搭建实训报告(思路而已)
实训报告而已,仅仅是个思路,供自己参考用,没有什么重要知识点原创 2021-11-19 07:00:00 · 5294 阅读 · 1 评论 -
hbase基础操作命令
1.开启hbase进程在有Hadoop的前提之下,开启hbase服务,并查看所有进程[root@master ~]# /export/servers/hbase-1.1.12/bin/start-hbase.sh2.检查hbase状态在hbase的bin目录下打开hbase服务器,并检查是否可以使用[root@master bin]# hbase shellhbase(main):001:0> versionhbase(main):002:0> whoami.原创 2021-10-31 18:59:48 · 3057 阅读 · 0 评论 -
MySQL,hbase初步安装及配置(centos)
HBase简介含义:HBase是基于HDFS之上的分布式,面向式的存储系统用途:实时读写、随机访问超大数据集的时候比较适用特点非常大:一个表内可以有几亿行,几百万列面向列:面向列表(簇)的存储和权限控制,列(簇)独立检索。稀疏:对于为空(NULL)的列,并不占用存储空间,因此,表可以设计的非常稀疏。无模式:每一行都有一个可以排序的主键和任意多的列,列可以根据需要动态增加,同一表中不同的行可以有截然不同的列。数据多版本:每个单元中的数据可以有多个版本,默认情况下,版本号自动分配原创 2021-10-28 09:26:36 · 3350 阅读 · 0 评论 -
Hadoop文件基础操作命令
1.查看进程jps2.进入配置文件(可能路径不同,具体路径以格式化后通知的文件储存路径为主)[root@master ~]# cd /tmp/hadoop-root/dfs/name/current/3.改变文件格式,使之可以查看hdfs oiv -i fsimage_000000000000000000 -o fsimage_000000000000000000.xml -p XML4.在Hadoop里新建文件夹[root@master current]# hd..原创 2021-09-28 20:29:08 · 1562 阅读 · 0 评论 -
Linux集群间免密登录
免密登录原因在平时运用计算机集群的时候,如若不设置免密登录,在启动平台的时候就会需要频繁的输入用户口令,这无疑会降低电脑运行速度,影响工作效率,所以才要设置免密登录准备工作1.准备三台虚拟机名字分别叫做master,slave1,slave2,对应IP分别为192.168.23.1 192.168.23.2 192.168.23.32.关闭所有机器防火墙3.检查机器间是否可以互通4.检查机器间的映射关系一.我们需要在master上产生密钥,用于分发给其他电...原创 2021-09-16 22:40:34 · 1235 阅读 · 0 评论 -
搭建Hadoop架构平台
1.我使用的是seurefxp,xshell也可以准备工作检查互通关闭防火墙检查是否有映射:vim hosts(ip与主机名中间用tab缩进)关闭一切进程:stop-all.sh2.官网环境安装包下载地址Apache Hadoop3.解压到servers,并获得路径(pwd)命:tar -zxvf ----- -C -------4.添加编写环境变量5.mkdir /export/data/tmp(存储缓存数据)6.利用文本编辑器进行修改路径:原创 2021-09-14 22:44:41 · 160 阅读 · 0 评论 -
1.Linux里搭建Java环境
1.在根目录下建立一个export文件,然后再export下建立三个文件software(软件),servers(服务),data(数据)Software:存放安装包Servers:存放解压后的文件Data:存放生成的数据2.将JAVA需要的jdk安装包用工具传入/export/software (xshell就可以)3.命令解压到servers命令:tar -zxvf software/jdk-8u191-linux-x64.tar.gz -C servers(C为大写)..原创 2021-09-14 22:27:35 · 161 阅读 · 9 评论