大数据概述、Lambda架构和Kappa架构 - 软考大数据篇-CSDN博客

软考也加入了大数据相关的案例和论文写作。此文介绍下作者知道的一些知识点，希望能对读者考试有意。论文无法分享，因为不会写大数据论文的读者，一定会多少按照给出的方向去写，在机考环境下，如意抽中“下次再见”卡。如有相关方面所需的朋友，后台私信聊。如果您觉得文章还值得一看，麻烦点赞互粉，非常感谢～

软考关于大数据相关主要有两个架构，Lambda架构和Kappa架构。

Lambda和Kappa不是互相取代关系。Lambda架构支持离线数据，2套系统，批式全量处理，吞吐量大，历史数据能力强，所以当然的，系统开销大，编码开销大；Kappa架构1套系统，流式全量处理，吞吐量相对小，历史能力相对弱（不是没有！）；均满足实时要求。

Lambda架构由Nathan Marz提出，旨在处理大规模数据的批处理和实时计算需求。其核心思想是将数据流分为批处理层（Batch Layer）、速度层（Speed Layer）和服务层（Serving Layer）。

批处理层（Batch Layer）：两个核心功能：存储数据集和生成Batch View。

加速层（Speed Layer）：存储实时视图并处理传入的数据流，以便更新这些视图。

服务层（Serving Layer）：用于响应用户的查询请求，合并Batch View 和Real-time View中的结果数据集到最终的数据集。

Kappa架构由Jay Kreps提出，是对Lambda架构的简化。其核心思想是通过单一流处理引擎处理所有数据，摒弃了批处理层。Kappa架构将所有数据视为流，历史数据通过重放流的方式进行处理。

5个V：Volume（大规模）、Velocity（高速）、Variety（多样）、Value（价值低密度）、Veracity（真实性）。

HBase：【实时数据和离线数据均支持】分布式、面向列的开源数据库，适合于非结构化数据存储。

HDFS（Hadoop分布式文件系统）：【通常用于处理离线数据的存储】适合运行在通用硬件上的分布式文件系统（Distributed File System）。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

Flume：【日志服务器】高可用/可靠，分布式海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Kafka：【高吞吐量的分布式发布订阅消息系统】它可以处理消费者在网站中的所有动作流数据。

ZooKeeper：开放源码的分布式应用程序协调服务，是Hadoop和HBase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

大数据概述、Lambda架构和Kappa架构 - 软考大数据篇