应用中渐渐列表

kubernetes-k8s

于 2023-05-31 15:17:40 发布

阅读量805

点赞数

CC 4.0 BY-SA版权

文章标签：架构

本文链接：https://blog.csdn.net/guofangsky/article/details/130969750

本文介绍了应用中间件如Kafka、ActiveMQ和RabbitMQ，以及缓存中间件Redis。在大数据组件部分，涵盖了数据同步方法和多种数据存储解决方案，包括对象存储、时序数据库、图数据库和各种类型的数据库。此外，文章还讨论了数据计算的各种技术，如Elasticsearch、MapReduce、Spark和Flink，以及数据开发和服务相关的工具。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1应用中间件
1.1消息中间件
1.1.1Kafka
1.1.2ActiveMQ
1.1.3RabbitMQ
1.2缓存中间件
1.2.1分布式缓存Redis
1.4分布式任务调度

2大数据组件
2.1数据同步
2.1.1CDC接入（OGG）
2.1.2接口同步
2.1.3基于时间戳批量同步（DXETL）
2.1.4文件同步（Flume）
2.1.5消息队列接入（Kafka）
2.2数据存储
2.2.1对象存储（百度对象存储）
2.2.2时序数据库（PowerTSDB）
2.2.3图数据库（百度图数据库）
2.2.4MPP数据仓库（GreenPlum）
2.2.5NoSQL数据库（HBase）
2.2.6MySQL
2.2.7PostgreSQL
2.2.8分布式数据库
2.2.9MongoDB
2.3数据计算
2.3.1全文检索（Elasticsearch）
2.3.2批量计算（MapReduce,Spark,Hive）
2.3.3流式计算（SparkStreaming,Flink）
2.3.4异构融合计算（Presto,Spark）
2.3.5内存计算（Impala, Spark）
2.4工具服务
2.4.1数据模型工具
2.4.2标签管理工具
2.4.3自助分析（Tablau）
2.4.4报表统计（报表中心）
2.4.5数据开发（数据工厂）
2.4.6数据挖掘
2.4.7数据服务引擎（服务引擎）