- 博客(5)
- 收藏
- 关注
RSS订阅原创 浅探Flume安装、使用和自定义实现
浅探Flume安装、使用和自定义实现一、浅谈Flumeflume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一些概念：Event：一个数据单元（传输单元），消息头和消息体组成。（Events可以是日志记录、 avro ...
2020-01-15 20:24:22
215
原创 IDEA+MAVEN使用Hadoop的API
学习Hadoop的第x天[3]环境准备打开IDEA创建Maven工程配置pom.xml导入Hadoop配置文件创建Demo环境准备装在虚拟机的Hadoop集群，装在windows宿主机上的IDEA、Maven和JDK。打开IDEA创建Maven工程配置pom.xml由于我们只是调用API进行简单的文件系统使用，所以只需要添加一个依赖导入Hadoop配置文件从虚拟机Hadoop集群...
2019-09-19 14:33:44
863
1
原创 环境管理工具Conda
Conda：开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。安装配置镜像源环境管理)windows:安装前往官网下载安装包并安装。配置镜像源windows系统下打开cmd，输入命令conda config --show-sources可查看当前conda已配置的镜像源添加镜像源：conda config --add channels...
2019-09-05 15:39:39
344
原创 hdfs的高HA模式搭建
学习Hadoop的第x天[2]浅谈HA模式浅谈HA模式hdfs是主从模型，一个NameNode掌管多个DataNode。这样就会存在一个问题——单点故障。一旦NameNode所在的节点机子发生问题挂掉了，那么整个集群也崩了。为了解决这个问题，可以使用HA模式，多设置一个NameNode并处于准备状态，一旦活动中的NameNode挂了，准备状态的NameNode就马上变成活跃状态来接管集群。(...
2019-09-02 11:47:35
1461
原创 虚拟机上Hadoop完全分布式搭建
虚拟机上Hadoop完全分布式搭建虚拟机准备关闭防火墙且进行免密钥处理安装JDK并配置JAVA_HOME：获取Hadoop文件包并进行解压和配置初始化集群并启动测试集群虚拟机准备以我自身虚拟机为例：IPNamerole192.168.107.11node01NameNode192.168.107.12node02SecondaryNameNode、Data...
2019-08-30 15:14:20
298
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人