Kafka 入门基础篇.pptx

Kafka 入门基础篇 Kafka 是 LinkedIn 公司开发的一种分布式消息队列系统，支持离线和在线日志处理。它可以实时处理大量数据，满足各种需求场景，如基于 Hadoop 的批处理系统、低延迟的实时系统、Storm/Spark 流式处理引擎、Web/nginx 日志、访问日志、消息服等等。 Kafka 的主要特点是可以实时处理大量数据，並且具有高吞吐量、可扩展性强、容错性好等特点。 Kafka 使用 Scala 语言编写，并于 2010 年被 LinkedIn 公司贡献给 Apache 基金会，成为顶级开源项目。 Kafka 的组成部分包括 Producer、Broker、Consumer 和 Zookeeper 集群。其中，Producer 负责将消息发送到 Broker，Broker 负责将收到的消息存储到磁盘中，Consumer 负责从 Broker 订阅并消费消息，而 Zookeeper 负责 Kafka 集群元数据的管理，控制器的选举等操作。 Kafka 中的术语包括主题（Topic）、分区（Partition）、偏移量（Offset）、分区副本（Replica）、Message、Segment 等。Topic 是 Kafka 中将消息以主题为单位进行归类的方式，Partition 是一个 Topic 下面的多个分区，每个分区存储时可以看作是一个可追加的日志（Log）文件，Offset 是消息被追加到分区日志文件时的偏移量，Replica 是副本之间的一种关系，Message 是在 Partition 内的每条消息，Segment 是由 Index file 和 Data file 组成的文件。 Kafka 的部署需要环境配置，包括操作系统、Kafka 版本、JDK 版本等。操作过程包括下载并解压 Kafka 压缩包文件到目录，配置 Zookeeper，配置 Kafka Server 端，启动 Kafka 等步骤。 Kafka 的使用场景非常广泛，如日志处理、消息队列、流式处理等等。Kafka 是一个功能强大、灵活、可扩展的分布式消息队列系统，适合各种实时数据处理场景。