
大数据
文章平均质量分 62
从零到大数据通用平台搭建,包括Spark、Hdfs、Hbase各个组件,从大数据到机器学习、深度学习路线探讨
Lipop技术分享
人生没有等出来的美丽,只有闯出来的辉煌
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
手把手教你在Windows下安装miniconda及常用命令
安装 官网 下载安装包 选择合适的安装包,我打开官网的时候默认是python2.7和python3.8的,由于部分依赖暂不支持python3.8,我这里想安装python3.7的 查看全部版本:https://docs.conda.io/en/latest/miniconda_hashes.html 然后将后缀改成想要的版本后缀即可,推荐使用迅雷下载很快 https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Windows-x86_64.e原创 2021-02-17 00:36:33 · 3335 阅读 · 0 评论 -
Kafka消息队列
Kafka (流处理平台) Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和...原创 2020-02-15 00:40:07 · 389 阅读 · 0 评论 -
Flume日志收集系统
Flume (日志收集系统) Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume...原创 2020-01-04 15:36:19 · 208 阅读 · 0 评论