Kafka: Uma introdução para Desenvolvedores e Arquitetos
Transferir como PPTX, PDF•0 gostou•293 visualizações
O documento apresenta uma introdução ao Apache Kafka para desenvolvedores e arquitetos. Ele discute os problemas que o Kafka resolve, como a arquitetura de um broker Kafka é definida e como desenhar uma arquitetura usando o Kafka, incluindo exemplos de uso no Java SE e no Quarkus.
Kafka: Uma introdução para Desenvolvedores e Arquitetos
- 1. Apache Kafka Uma introdução para Desenvolvedores e Arquitetos
- 2. Este quem vos fala... Victor Osório Senior Software Engineer @ Openet Mais de 15 anos de experiência com desenvolvimento Java https://twitter.com/vepo https://www.linkedin.com/in/victorosorio https://github.com/vepo
- 3. Agenda 1. Quais problemas o Kafka Resolve? 2. Como é definida a Arquitetura de um broker Kafka? 3. Como desenhar uma arquitetura usando Kafka? 4. Usando Kafka no Java SE 5. Usando Kafka no Quarkus
- 4. Público Alvo • Desenvolvedor Java • Interesse em Microsserviços • Interesse em Sistemas Distribuídos • Interesse em Sistemas Escaláveis
- 5. Quais problemas o Kafka Resolve?
- 6. 2010’s – Internet Onipresente
- 7. Implicações • Mais serviços existentes • Mais acessos simultâneos • Falência dos modelos de Arquitetura de Software antigos • Emergência de novos modelos de Arquitetura de Software Novos Desafios!
- 8. Como integrar Serviços? S1 HTTP Server S3 MySQL MongoDBETL
- 9. Event Driven Architecture • Cada serviço possui sua Base de Dados Database per servisse • É necessário um mecanismo para garantir a integração dos serviços • Pub/Sub middlewares Pub/Sub Book Store Order Email Catalog
- 10. Pub/Sub Alternatives • Amazon Kinesis. • RabbitMQ. • Apache Kafka. • MuleSoft Anypoint Platform. • Azure Event Hubs. • PieSync. • TIBCO Spotfire. • IBM MQ. • Google Cloud Pub/Sub
- 11. Porque o Apache Kafka? • Por causa das escolhas arquiteturais é possível entregar: High-throughput: Kafka is capable of handling high- velocity and high-volume data using not so large hardware. It is capable of supporting message throughput of thousands of messages per second. Low latency: Kafka is able to handle these messages with very low latency of the range of milliseconds, demanded by most of new use cases. Fault tolerant: The inherent capability of Kafka to be resistant to node/machine failure within a cluster. Durability: The data/messages are persistent on disk, making it durable and messages are also replicated ...
- 12. Como é definida a Arquitetura de um broker Kafka?
- 13. Definindo os nós • Kafka Cluster • Producers • Consumers • Stream Processors • Connectors
- 14. APIs Kafka • Kafka has four core APIs: The Producer API allows an application to publish a stream of records to one or more Kafka topics. The Consumer API allows an application to subscribe to one or more topics and process the stream of records produced to them. The Streams API allows an application to act as a stream processor, consuming an input stream from one or more topics and producing an output stream to one or more output topics, effectively transforming the input streams to output streams. The Connector API allows building and running reusable producers or consumers that connect Kafka topics to existing applications or data systems. For example, a connector to a relational database might capture every change to a table. Fonte: https://kafka.apache.org/documentation/#gettingStarted
- 15. Enviando mensagem Producer Kafka Cluster Kafka Cluster Kafka Cluster Kafka Cluster Kafka Cluster Consumer Tópico Chave Tópico Chave
- 16. Enviando mensagem • Tópico é uma categoria ou o nome do Feed/Stream Deve ser muito bem definido • Chave é o identificador da Mensagem Pode ser nulo! Deve ser muito bem definido, irá determinar o comportamento do Stream! • Mensagem é um ByteArray enviado pelo Stream Não pode ser nulo! Deve ser definido o método de Serialização e o Formato
- 17. Kafka recebendo a mensagem • Mensagens sempre são escritas no final de um arquivo • Um mesmo tópico pode ter várias partições • De acordo com a Chave a mensagem é enviada para uma partição especifica • Uma mensagem é referenciada por: Tópico Partição Índice
- 18. Recebendo mensagem • Vários Consumers podem apontar para o mesmo Tópico • Cada tipo de Consumer é escalável Para ser escalável, um Tópico deve ter mais de 1 partição • Propriedades: Tópico Partição Offset • Por padrão está configurado Auto.Commit, não é necessário fazer ACK. Em caso de erro, mate o processo! • Idempotência?
- 19. Controle de offset • O offset de leitura é controlado por GroupId! Cada Consumer deve ter um GroupId Pode haver mais de uma instância de Consumer, mas cada um escutará um conjunto distintos de partições! • Fiz um deploy errado!!!!! Reprocesse! How to reset Kafka Consumer Group Offset: https://gist.github.com/vepo/8c9504b8ae0e02b0214684e1d 22920ef Exemplo: Spark, Hadoop e Microservices na SoundCloud: extraindo informações de milhões de eventos https://www.infoq.com/br/presentations/spark-hadoop-e- microservices-na-soundcloud/
- 20. Ordenação das Mensagens • Kafka garante a ordenação SOMENTE POR PARTIÇÃO!!! Isso implica que Mensagens com mesma Chave serão entregue ordenadas
- 21. Como desenhar uma arquitetura usando Kafka?
- 22. Modelando • A modelagem deve focar em Qual a responsabilidade de cada Módulo Quais mensagens cada Módulo irá Emitir Quais mensagens cada Módulo irá Consumir Garantir Idempotência
- 23. Requisitos – Alto Nível • Quebrar o sistema em módulos Sistema de BookStore Módulos Loja Carrinho Pagamentos Logística Estoque Fiscal Business Inteligence • Definir Mensagens Iteração entre os times • Definir Requisitos Não-Funcionais A Loja DEVE ter um tempo de resposta máximo em milissegundos por requisição
- 24. Eventos
- 25. Eventos
- 26. Requisitos • Cada serviço deve ter 1. Consumers e Producers 2. A lógica da Serialização/Envio/Consumo não deve “poluir” o código 3. Eventos correlatos devem poder ser associados 4. Garantir Idempotência • Para isso Factory Pattern resolverá (1) e (2) Cada Evento deve ter seu Id, eventos derivados desse devem copiar o seu Id. Isso resolverá (3) e (4).
- 27. Usando Kafka no Java SE
- 28. Dependências • Usar Maven Group Id: org.apache.Kafka ArtifactId: kafka-clientes https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients
- 29. Criando Producer Chave Descrição bootstrap.servers é uma lista separada por vírgula de pares de host e porta que são os endereços dos brokers Kafka em um cluster Kafka "bootstrap" ao qual um cliente Kafka se conecta inicialmente para inicializar. key.serializer Classe para Serializar Chave. Deve implementar org.apache.kafka.common.serialization.Serializer value.serializer Classe para Serializar Valor. Deve implementar org.apache.kafka.common.serialization.Serializer
- 30. Criando Consumer Chave Descrição bootstrap.servers é uma lista separada por vírgula de pares de host e porta que são os endereços dos brokers Kafka em um cluster Kafka "bootstrap" ao qual um cliente Kafka se conecta inicialmente para inicializar. group.id Identificador que associa esse consumer a um grupo. Esse valor é extremamente importante para o gerenciamento das mensagens recebidas. key.deserializer Classe para Serializar Chave. Deve implementar org.apache.kafka.common.serialization.Deserializer value.deserializer Classe para Serializar Valor. Deve implementar org.apache.kafka.common.serialization.Deserializer
- 31. Usando Kafka no Quarkus
- 32. Dependências • Usar Starter: https://code.quarkus.io/ Smallrye Reactive Messaging Kafka Clients
- 33. Configuração • Os valores devem ser preenchidos no application.properties srcmainresourcesapplication.properties • Podem ser configurados por Variáveis de Ambiente https://quarkus.io/guides/config • Mais informações: https://quarkus.io/guides/kafka
- 34. Configurando Producer • Deve ser configurado Em um CDI Bean Usar Annotations @Inject @Channel → Vai associar a configuração correspondente
- 35. Consumer • Deve ser configurado Em um CDI Bean Usar Annotations @Incoming
- 36. Demonstração!!!
- 37. Duvidas? Não existe pergunta boba!
- 38. Obrigado!!! • Códigos https://github.com/vepo/kafka-intro • Palestras https://www.infoq.com/br/presentations/spark-hadoop-e-microservices-na- soundcloud/ • Guias https://gist.github.com/vepo/8c9504b8ae0e02b0214684e1d22920ef