cyony的博客

    本文转发自技术世界，原文链接　http://www.jasongj.com/kafka/high_throughput/        本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以及如何通过顺序读...

在从kafka接受流式数据的时候，spark提供了两种方式，Dstream和DirectStream，在spark2.2中已经不在提供第一种方式，具体区别这儿就不再描述了，第二种方式spark是用的kafka低阶api，每个RDD对应一个topic的分区，这种情况，需要借助于外部存储来管理offset，或者简单点，自己手动利用kafka来管理offset，否则在程序重启时找不到offset从最新的...

Kafka开启使用 SASL_PLAINTEXT认证1、进入config目录，增加如下配置文件：　　　　（1）touch kafka_server_jaas.conf　　　　　　配置如下：　　　　　　　　KafkaServer {    　　　　　　　　org.apache.kafka.common.security.plain.PlainLoginModule require...