
大数据
付江
关注软件开发和互联网业界
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Router-Based HDFS Federation 在滴滴大数据的应用
一、背景HDFS 的 Master/Slave 架构,使得其具有单点瓶颈,即随着业务数据的大规模膨胀,Master 节点在元数据存储与提供服务上都会存在瓶颈。为了克服 HDFS 单点瓶颈存在的扩展性、性能、隔离问题,社区提出了Federation(https://issues.apache.org/jira/browse/HDFS-1052 )方案来进行解决。但是使用该方案之后,暴露给客户的问...原创 2019-01-11 11:11:43 · 1906 阅读 · 0 评论 -
滴滴云上搭建 Gluster 分布式文件系统
Gluster 是什么Gluster 是一个分布式文件系统,与 CephFS, HDFS 等类似。Gluster 架构Volume一块磁盘在 Gluster 里叫一个 brick,多个 brick 组成一个 volume。Volume 是逻辑磁盘,有以下类型:分布式。一个 volume 的多个文件分布在多个 brick 上,一个文件只在一个 brick 上出现,如果这个磁盘坏了,那么文...原创 2019-01-15 14:26:18 · 327 阅读 · 0 评论 -
基于滴滴云 DC2 搭建 VPP 应用实例
滴滴云 DC2 搭建 VPP 环境Cisco 开源了自己的数据包处理框架,并将其纳入 Linux 基金会的 FD.io,开源的内容就是 VPP。这个 VPP 实现了 VSwitch、VRouter 等功能,对于当前的云网络有很大的用处,很多公司也开始使用 VPP 来搭建自己的数据转发面,本文将基于滴滴云的 DC2 云服务器来 搭建 VPP 基本环境。创建 DC2相关购买和创建流程可以查看滴...原创 2019-01-30 11:07:31 · 487 阅读 · 0 评论 -
基于滴滴云部署 Elasticsearch + Kibana + Fluentd
一、Elasticsearch + Kibana + Fluentd 简单介绍EFK 架构可用于日志的收集、存储、搜索和分析。组件的功能说明如下:Fluentd 用以收集日志。Elasticsearch 简称 es 主要用以数据的存储并提供索引与搜索功能。Kibana 搜索与分析。二、环境准备在滴滴云官网购买一台 DC2 实例,规格无需太大,需要带 EIP 方便下载和安装。三、E...原创 2019-02-28 11:29:26 · 336 阅读 · 0 评论