Stream Processing: Uma visão geral - TDC Porto Alegre / FISL 17
1 gostou389 visualizações
O documento fornece uma visão geral do processamento de fluxos de dados em tempo real, também conhecido como stream processing. Aborda conceitos como janelas de tempo, triggers e watermarks para processamento contínuo de dados. Apresenta exemplos de como programar stream processing usando o framework Apache Beam, incluindo cálculo de placares esportivos por time em janelas de uma hora.
![19
Explosão de abordagens relacionada
● Complex Event Processing (CEP)
● Event Sourcing
● Baseado nas idéias de DDD do ambiente corporativo
● Reactive programming
● Reactive manifesto
“[…] queremos sistemas que sejam responsivos,
resilientes, elásticos e orientados a mensagens. Nós
chamamos esses sistemas de Sistemas Reativos”](https://image.slidesharecdn.com/tdc2016-streamprocessing-umavisaogeralcopy-161006202923/85/Stream-Processing-Uma-visao-geral-TDC-Porto-Alegre-FISL-17-19-320.jpg)
![35
Resultados de um time por hora
● O quê?
● Soma de inteiros do placar, agrupados por time
gameEvents.
[… input …]
.apply(“LeaderBoardTeamFixedWindows”, Window
[…])
.apply(“ExtractTeamScore”,
new ExtractAndSumScore(“team”))
[… output ...]](https://image.slidesharecdn.com/tdc2016-streamprocessing-umavisaogeralcopy-161006202923/85/Stream-Processing-Uma-visao-geral-TDC-Porto-Alegre-FISL-17-35-320.jpg)
![36
Resultados de um time por hora
● Onde?
● Dentro de janelas de tempo de uma hora
gameEvents.
[… input …]
.apply(“LeaderBoardTeamFixedWindows”, Window
.<GameActionInfo>into(FixedWindows.of(
Duration.standardMinutes(Durations.minutes(60))))
...)
.apply(“ExtractTeamScore”,
new ExtractAndSumScore(“team”))
[… output …]](https://image.slidesharecdn.com/tdc2016-streamprocessing-umavisaogeralcopy-161006202923/85/Stream-Processing-Uma-visao-geral-TDC-Porto-Alegre-FISL-17-36-320.jpg)
![38
Resultados de um time por hora
gameEvents.
[… input …]
.apply(“LeaderBoardTeamFixedWindows”, Window
.<GameActionInfo>into(FixedWindows.of(
Duration.standardMinutes(Durations.minutes(60))))
.triggering(AfterWatermark.pastEndOfWindow()
.withEarlyFirings(
AfterProcessingTime.pastFirstElementInPane()
.plusDelayOf(Durations.minutes(5)))
.withLateFirings(
AfterProcessingTime.pastFirstElementInPane()
.plusDelayOf(Durations.minutes(10)))
.withAllowedLateness(
Duration.standardMinutes(120))
..)
.apply(“ExtractTeamScore”,
new ExtractAndSumScore(“team”))
[… output …]](https://image.slidesharecdn.com/tdc2016-streamprocessing-umavisaogeralcopy-161006202923/85/Stream-Processing-Uma-visao-geral-TDC-Porto-Alegre-FISL-17-38-320.jpg)
![40
Resultados de um time por hora
gameEvents.
[… input …]
.apply(“LeaderBoardTeamFixedWindows”, Window
.<GameActionInfo>into(FixedWindows.of(
Duration.standardMinutes(Durations.minutes(60))))
.triggering(AfterWatermark.pastEndOfWindow()
.withEarlyFirings(
AfterProcessingTime.pastFirstElementInPane()
.plusDelayOf(Durations.minutes(5)))
.withLateFirings(
AfterProcessingTime.pastFirstElementInPane()
.plusDelayOf(Durations.minutes(10)))
.withAllowedLateness(
Duration.standardMinutes(120))
.accumulatingFiringPanes())
.apply(“ExtractTeamScore”,
new ExtractAndSumScore(“team”))
[… output …]](https://image.slidesharecdn.com/tdc2016-streamprocessing-umavisaogeralcopy-161006202923/85/Stream-Processing-Uma-visao-geral-TDC-Porto-Alegre-FISL-17-40-320.jpg)
Stream Processing: Uma visão geral - TDC Porto Alegre / FISL 17
- 1. Stream Processing, uma visão geral Data velocity, Big Data e outras buzzwords Otávio Carvalho
- 2. 2 Quem sou? ● Bacharel em Ciência da Computação - UFRGS ● Ex-bolsista de pesquisa no GPPD ● Grupo de Processamento Paralelo e Distribuído da UFRGS ● Consultor na ThoughtWorks Brasil ● Apaixonado por Sistemas Distribuídos
- 4. 4 Dados em tempo real
- 6. 6 Big Data – Modelo de 3Vs
- 7. 7 Big Data – Ciclo de tendências
- 9. 9 Batch Processing ● Batch Processing no sentido de grandes operações que ocorrem sobre conjuntos de dados de forma não-interativa ● Processamento de folha de pagamento MapReduce
- 10. 10 Stream Processing ● Stream Processing no sentido de pipelines de dados para o processamento de fluxos de dados contínuos ● Processamento dos Trending Topics do Twitter 13:00 14:008:00 9:00 10:00 11:00 12:00 Processing Time
- 12. 12 Arquitetura Lambda ● Duas camadas ● Batch layer ● Speed layer
- 13. 13 Arquitetura Kappa ● Camada única ● Speed layer
- 15. 15 Quem utiliza Stream Processing? ● Apache Foundation ● Apache Beam (2016) ● Google ● Flume (2010) ● MillWheel (2013) ● Dataflow (2014) ● Twitter ● Twitter Storm (2011) ● Twitter Heron (2016) ● Berkeley ● Spark Streaming (2013) ● LinkedIn ● Apache Samza (2011) ● Kafka Streams (2016) ● TU Berlin ● Apache Flink (2010) ● Outras empresas ● Alibaba ● Netflix ● Spotify ● Walmart ● …
- 17. 17 Como isso surgiu? ● Dataflow relacional ● Surge como uma evolução sobre os Bancos de Dados Relacionais ● Solução de problemas específicos ● Operações financeiras ● Monitoramento de logística ● Monitoramento de fábricas
- 18. 18 Histórico ● Primeira geração ● TelegraphCQ – baseado no PostgresDB ● Segunda geração ● Borealis ● Balanceamento de carga ● Processamento distribuído ● Terceira geração: Sistemas na nuvem ● Twitter Storm ● Apache Spark (Berkeley) ● Apache Flink (T.U. Berlin) ● LinkedIn/Apache Samza (Apache Kafka) ● Google Dataflow
- 19. 19 Explosão de abordagens relacionada ● Complex Event Processing (CEP) ● Event Sourcing ● Baseado nas idéias de DDD do ambiente corporativo ● Reactive programming ● Reactive manifesto “[…] queremos sistemas que sejam responsivos, resilientes, elásticos e orientados a mensagens. Nós chamamos esses sistemas de Sistemas Reativos”
- 21. 21 Como realmente funciona? ● Conceitos fundamentais ● Como processar a entrada/saída de dados? ● Data Source / Data Sink ● Como realizar transformações sobre os dados? ● PEs (Elementos processadores) ● Como representar os passos do processamento? ● DAG (Grafo direcionado acíclico) ● Como particionar o processamento? Janelas? ● Windowing ● Event time ● Processing time
- 22. 22 Data Source / Data Sink
- 23. 23 Data Source/Sink – Apache Kafka
- 24. 24 Processing Elements - PEs ● Processamento encadeado ● Grafo Direcionado Acíclico de PEs
- 25. 25 Processing Elements - PEs ● Transformações sobre os dados Por elemento Agregação Composição
- 26. 26 PEs – Apache Storm
- 27. 27 Windowing 13:00 14:008:00 9:00 10:00 11:00 12:00 Processing Time
- 28. 28 Windowing
- 29. 29 Windowing – Event/Processing ● Event time ● Momento em que o evento foi gerado ● Processing time ● Momento do processamento efetivo do evento
- 30. 30 Windowing – Event/Processing Event Time Processing Time 11:0010:00 15:0014:0013:0012:00 11:0010:00 15:0014:0013:0012:00 Input Output Input Output
- 31. 31 Windowing – Tipos de Janelas
- 34. 34 Como programamos? ● Nos exemplos a seguir iremos utilizar: ● Apache Beam ● Combinação de Batch e strEAM ● Projeto da Apache criado em Janeiro de 2016 ● Esforço para unificar batch processing e stream processing ● API suportada por diversos projetos: ● Apache Spark ● Apache Flink ● Google Dataflow
- 35. 35 Resultados de um time por hora ● O quê? ● Soma de inteiros do placar, agrupados por time gameEvents. [… input …] .apply(“LeaderBoardTeamFixedWindows”, Window […]) .apply(“ExtractTeamScore”, new ExtractAndSumScore(“team”)) [… output ...]
- 36. 36 Resultados de um time por hora ● Onde? ● Dentro de janelas de tempo de uma hora gameEvents. [… input …] .apply(“LeaderBoardTeamFixedWindows”, Window .<GameActionInfo>into(FixedWindows.of( Duration.standardMinutes(Durations.minutes(60)))) ...) .apply(“ExtractTeamScore”, new ExtractAndSumScore(“team”)) [… output …]
- 37. 37 Resultados de um time por hora ● Quando? ● Early trigger: Cada 5 minutos de processamento ● On-time trigger: Quando a watermark passa o fim da janela ● Late trigger: Cada 10 minutos de processamento ● Final trigger: Quando a watermark passa duas horas do fim da janela
- 38. 38 Resultados de um time por hora gameEvents. [… input …] .apply(“LeaderBoardTeamFixedWindows”, Window .<GameActionInfo>into(FixedWindows.of( Duration.standardMinutes(Durations.minutes(60)))) .triggering(AfterWatermark.pastEndOfWindow() .withEarlyFirings( AfterProcessingTime.pastFirstElementInPane() .plusDelayOf(Durations.minutes(5))) .withLateFirings( AfterProcessingTime.pastFirstElementInPane() .plusDelayOf(Durations.minutes(10))) .withAllowedLateness( Duration.standardMinutes(120)) ..) .apply(“ExtractTeamScore”, new ExtractAndSumScore(“team”)) [… output …]
- 39. 39 Resultados de um time por hora ● Como? ● Resultados novos são acumulados nos resultados anteriores
- 40. 40 Resultados de um time por hora gameEvents. [… input …] .apply(“LeaderBoardTeamFixedWindows”, Window .<GameActionInfo>into(FixedWindows.of( Duration.standardMinutes(Durations.minutes(60)))) .triggering(AfterWatermark.pastEndOfWindow() .withEarlyFirings( AfterProcessingTime.pastFirstElementInPane() .plusDelayOf(Durations.minutes(5))) .withLateFirings( AfterProcessingTime.pastFirstElementInPane() .plusDelayOf(Durations.minutes(10))) .withAllowedLateness( Duration.standardMinutes(120)) .accumulatingFiringPanes()) .apply(“ExtractTeamScore”, new ExtractAndSumScore(“team”)) [… output …]
- 41. 41 Como é usado em produção?
- 43. 43 Uber
- 44. 44 Uber
- 45. 45 O que podemos esperar para o futuro?
- 46. 46 O que é possível hoje? d
- 47. 47 Importância & Desafios ● Importância ● Resolve diversos dos problemas no processamento de dados de diversas tecnologias emergentes, tais como: ● Internet das coisas (IoT) ● Aplicações móveis em larga escala ● Desafios ● Como unificar as diferentes APIs/Vendors ● Como integrar diferentes abordagens de Stream Processing ● Confiabilidade / Semântica / Tolerância a falhas
- 48. Obrigado! Para mais perguntas e sugestões: Otávio Carvalho [email protected] @otaviocarvalho ThoughtWorks Brazil – Porto Alegre Office
- 49. 49 Nomenclatura ● Stream Processing no sentido de pipelines de dados para o processamento de fluxos de dados contínuos ● Menos ambiguamente Event Stream Processing ● Nomenclatura problemática, pois diversas áreas distintas compartilham da mesma origem: ● Programação Dataflow ● Modelo de Dataflow Síncrono (SDF) ● LUSTRE, Esterel e outros sistemas de missão crítica ● Dataflow relacional ● SPL, Borealis, TelegraphCQ ● Arquiteturas Dataflow ● DSPs, GPUs, alternativa à arquitetura de Von Neumann
- 50. 50 Links Interessantes ● Michael Stonebraker ● The 8 Requirements for Stream Processing: http://cs.brown.edu/~ugur/8rulesSigRec.pdf ● The Case for Polystores: http://wp.sigmod.org/?p=1629 ● The World Beyond Batch, Streaming 101: https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101 ● Lambda architecture: http://lambda-architecture.net/ ● Kappa architecture: https://www.oreilly.com/ideas/questioning-the- lambda-architecture ● Apache Beam: http://beam.incubator.apache.org/ ● Obrigado especial para Frances Perry e Tyler Akidau por fornecerem material para apresentações relacionadas ao Apache Beam (que foi reutilizado nessa apresentação)