Analytics Engineering:
Fluxos de dados além
do BI tradicional
AI / ML Ahirton Lopes, PhD.
Ahirton Lopes, Eng.,
MSc., PhD.
Head of Data
Professor de MBA e Corporate @ FIAP + Alura
2x Google Developer Expert – Machine Learning
5x Most Valuable Professional – AI Platform @ Microsoft
LinkedIn Top Voice
Doutor em Engenharia Elétrica e Computação pela Universidade
Presbiteriana Mackenzie (UPM)
Pesquisador em Machine e Deep Learning
Sobre mim
Roteiro
1. Estratégias para Produtos em IA
2. Arquiteturas comuns em IA para
managers e líderes.
3. Métricas e KPIs em projetos de IA.
Ahirton Lopes @ahirtonlopes
Estratégias para Produtos em IA
Seção 1
Como estruturar e implementar estratégias eficazes para produtos
em IA?
Ahirton Lopes @ahirtonlopes
1N73L163NC1
4 3 4
H481L1D4D3
D3 53
Ahirton Lopes @ahirtonlopes
ESTRATÉGIAS PARA PRODUTOS EM IA
https://www.gartner.com.br/pt-br/tecnologia-da-informacao/temas/estrategia-de-inteligencia-artificial-para-os-negocios Ahirton Lopes @ahirtonlopes
O PAPEL DA PROTOTIPAGEM
EM PRODUTOS DE IA
https://medium.com/mvnadv/design-thinking-is-not-new-but-essential-for-human-centered-ai-fe31f6f373ee
Ahirton Lopes @ahirtonlopes
METODOLOGIAS PARA
EXPERIMENTAÇÃO
• Para se realizar experimentos é necessário método!
• Modelos de gestão voltados para startups:
• Business Model Generation [Osterwalder]
• Customer Development [Blank]
• Design Sprint [GV]
• Lean Startup [Ries]
Ahirton Lopes @ahirtonlopes
METODOLOGIA LEAN
Ahirton Lopes @ahirtonlopes
● A coisa mais rápida e mais barata que você pode construir ... (Ciclos rápidos);
● ... E entregar para o consumidor (Foco no cliente);
● ... Para observar e mensurar resultados (Métricas);
● ...tendo em vista um produto que os consumidores precisem, desejem e
amem (Aprendizagem validada).
ABORDAGENS EM LEAN
STARTUP
Ahirton Lopes @ahirtonlopes
Ahirton Lopes @ahirtonlopes
Ahirton Lopes @ahirtonlopes
DEFINIÇÃO CLARA DO
PROBLEMA
Para o sucesso de qualquer produto em IA, é crucial começar com uma definição
clara do problema que a solução irá abordar.
Identificar a oportunidade certa para aplicar IA envolve entender profundamente o
desafio de negócio e como a tecnologia pode gerar valor.
A pergunta principal é: qual impacto a IA terá no problema? Isso inclui conectar o
uso da IA a objetivos estratégicos, como aumento de eficiência, redução de custos ou
criação de novos produtos.
Uma definição bem estruturada garante que o desenvolvimento do protótipo esteja
focado nas metas certas, orientando o projeto rumo ao sucesso.
Ahirton Lopes @ahirtonlopes
DEFINIÇÃO CLARA DO
PROBLEMA
https://brasil.uxdesign.cc/processo-de-solu%C3%A7%C3%A3o-hip%C3%B3teses-229decc0d0fd
Ahirton Lopes @ahirtonlopes
ITERAÇÃO E
EXPERIMENTAÇÃO RÁPIDA –
HUMAN CENTERED AI
https://www.four.co.uk/introducing-the-human-centred-ai-canvas/
Ahirton Lopes @ahirtonlopes
MACHINE LEARNING
CANVAS
Ahirton Lopes @ahirtonlopes
PROCESSO DE DESCOBERTA
DE CONHECIMENTO – CRISP-
DM
Ahirton Lopes @ahirtonlopes
Explorando os principais components de um Sistema de IA.
Arquiteturas comuns em
IA para Managers e
Líderes
Seção 2
Ahirton Lopes @ahirtonlopes
https://markovate.com/blog/ai-tech-stack/
A IMPORTÂNCIA DE SE
CONHECER DIFERENTES
PRODUTOS E ARQUITETURAS
EM IA
Ahirton Lopes @ahirtonlopes
FLUXO DE TRABALHO EM
PROJETOS DE IA
https://efagundes.com/projetos-de-inteligencia-artificial/
Ahirton Lopes @ahirtonlopes
Identificar as Origem
Extrair
Limpar
Refinar
Criar um Algoritmo
Analisar uma Amostragem
Tomar Decisão
1.Identificação do Problema
2.Coleta e limpeza de dados
3.Desenvolvimento do Modelo Preditivo
4. Publicação do Modelo
5. Monitoramento da performance
O TRABALHO EM DADOS É
CÍCLICO
Ahirton Lopes @ahirtonlopes
O sucesso de um produto de IA depende de uma equipe com funções bem definidas:
• Cientista de Dados: Criação de modelos preditivos a partir de dados.
• Engenheiro de Dados: Estruturação de pipelines e preparação dos dados.
• Engenheiro de Machine Learning: Implementação e escalabilidade dos modelos.
• Analista de Negócios: Conexão entre soluções de IA e metas empresariais.
• Product Manager de IA: Gestão estratégica e coordenação das equipes.
Cada papel é fundamental para garantir que as soluções de IA sejam eficientes e
impactem positivamente o negócio.
DADOS É SOBRE TIMES
Ahirton Lopes @ahirtonlopes
Além dos papéis principais, funções complementares são essenciais para a entrega
completa de um produto de IA:
• Engenheiro de Software: Integra soluções de IA nos sistemas existentes.
• Especialista em UX/UI: Cria interfaces intuitivas e acessíveis para usuários
finais.
• Engenheiro DevOps/MLOps: Automatiza o ciclo de vida de desenvolvimento e
operação dos modelos.
• Compliance e Ética: Garante conformidade com regulamentações e governança
responsável.
Essas funções garantem que o produto de IA seja robusto, escalável e fácil de usar.
DADOS É SOBRE TIMES
Ahirton Lopes @ahirtonlopes
DADOS É SOBRE
ADAPTABILIDADE
Para o sucesso de produtos de IA, é crucial integrar habilidades técnicas e de negócios em equipes multidisciplinares.
A colaboração entre cientistas de dados, engenheiros, analistas e designers promove inovação e eficiência, garantindo que o
desenvolvimento tecnológico esteja alinhado com os objetivos estratégicos da empresa.
Essa integração é o que impulsiona a entrega ágil e eficaz de soluções de IA. Ahirton Lopes @ahirtonlopes
AZURE
Ahirton Lopes @ahirtonlopes
AWS
Ahirton Lopes @ahirtonlopes
GCP
Ahirton Lopes @ahirtonlopes
HABILIDADES PARA
PROFISSIONAIS EM DADOS
E IA
Ahirton Lopes @ahirtonlopes
Microsoft Machine Learning Products
Ahirton Lopes,
Machine Learning at scale with Azure
Ahirton Lopes,
Machine Learning at scale with Azure
Use Cases:
• Retail: Revenue forecasting for each store and item;
• Supply Chain: Inventory optimization for product-warehouse combinations;
• Restaurants: Demand forecasting for each franchise.
Architectural Considerations:
• Data Partitioning: Divide datasets by store/product;
• Model Management: Use tags to identify data partitions and model versions;
• Choosing Architecture: Use Spark for complex transformations, Scikit-learn for simpler
pipelines.
Parallel Execution:
• ParallelRunStep Class: Run parallel training and inference in Python with custom
environments.
Online Inferencing:
• On-Demand Model Loading: Prevent memory overload, with a slight increase in latency.
Cost Optimization:
Ahirton Lopes,
Machine Learning at scale with Azure
Ahirton Lopes,
Machine Learning at scale with Azure
Ahirton Lopes,
Machine Learning at scale with Azure
Ahirton Lopes,
Machine Learning at scale with Azure
Ahirton Lopes,
Machine Learning at scale with Azure
Ahirton Lopes,
Key Takeways
• Azure: A Robust Platform.
• Scalable solutions for Machine Learning and Generative AI;
• Services: Azure Databricks, Synapse, AKS;
• Supports custom environments and parallel processing;
• Key Takeaway: Align architecture choices with business goals;
• Focus on performance and ROI through proper architecture.
Ahirton Lopes,
Obrigado / Thank you!
Ahirton Lopes, PhD. Ele/Dele
Head of Data
ahirtonlopes@gmail.com
https://www.linkedin.com/in/ahirtonlopes
https://github.com/ahirtonlopes
https://x.com/ahirtonlopes

Analytics Engineering: Fluxos de dados além do BI tradicional

  • 1.
    Analytics Engineering: Fluxos dedados além do BI tradicional AI / ML Ahirton Lopes, PhD.
  • 2.
    Ahirton Lopes, Eng., MSc.,PhD. Head of Data Professor de MBA e Corporate @ FIAP + Alura 2x Google Developer Expert – Machine Learning 5x Most Valuable Professional – AI Platform @ Microsoft LinkedIn Top Voice Doutor em Engenharia Elétrica e Computação pela Universidade Presbiteriana Mackenzie (UPM) Pesquisador em Machine e Deep Learning Sobre mim
  • 3.
    Roteiro 1. Estratégias paraProdutos em IA 2. Arquiteturas comuns em IA para managers e líderes. 3. Métricas e KPIs em projetos de IA. Ahirton Lopes @ahirtonlopes
  • 4.
    Estratégias para Produtosem IA Seção 1 Como estruturar e implementar estratégias eficazes para produtos em IA? Ahirton Lopes @ahirtonlopes
  • 5.
    1N73L163NC1 4 3 4 H481L1D4D3 D353 Ahirton Lopes @ahirtonlopes
  • 6.
    ESTRATÉGIAS PARA PRODUTOSEM IA https://www.gartner.com.br/pt-br/tecnologia-da-informacao/temas/estrategia-de-inteligencia-artificial-para-os-negocios Ahirton Lopes @ahirtonlopes
  • 7.
    O PAPEL DAPROTOTIPAGEM EM PRODUTOS DE IA https://medium.com/mvnadv/design-thinking-is-not-new-but-essential-for-human-centered-ai-fe31f6f373ee Ahirton Lopes @ahirtonlopes
  • 8.
    METODOLOGIAS PARA EXPERIMENTAÇÃO • Parase realizar experimentos é necessário método! • Modelos de gestão voltados para startups: • Business Model Generation [Osterwalder] • Customer Development [Blank] • Design Sprint [GV] • Lean Startup [Ries] Ahirton Lopes @ahirtonlopes
  • 9.
  • 10.
    ● A coisamais rápida e mais barata que você pode construir ... (Ciclos rápidos); ● ... E entregar para o consumidor (Foco no cliente); ● ... Para observar e mensurar resultados (Métricas); ● ...tendo em vista um produto que os consumidores precisem, desejem e amem (Aprendizagem validada). ABORDAGENS EM LEAN STARTUP Ahirton Lopes @ahirtonlopes
  • 11.
  • 12.
  • 13.
    DEFINIÇÃO CLARA DO PROBLEMA Parao sucesso de qualquer produto em IA, é crucial começar com uma definição clara do problema que a solução irá abordar. Identificar a oportunidade certa para aplicar IA envolve entender profundamente o desafio de negócio e como a tecnologia pode gerar valor. A pergunta principal é: qual impacto a IA terá no problema? Isso inclui conectar o uso da IA a objetivos estratégicos, como aumento de eficiência, redução de custos ou criação de novos produtos. Uma definição bem estruturada garante que o desenvolvimento do protótipo esteja focado nas metas certas, orientando o projeto rumo ao sucesso. Ahirton Lopes @ahirtonlopes
  • 14.
  • 15.
    ITERAÇÃO E EXPERIMENTAÇÃO RÁPIDA– HUMAN CENTERED AI https://www.four.co.uk/introducing-the-human-centred-ai-canvas/ Ahirton Lopes @ahirtonlopes
  • 16.
  • 17.
    PROCESSO DE DESCOBERTA DECONHECIMENTO – CRISP- DM Ahirton Lopes @ahirtonlopes
  • 18.
    Explorando os principaiscomponents de um Sistema de IA. Arquiteturas comuns em IA para Managers e Líderes Seção 2 Ahirton Lopes @ahirtonlopes
  • 19.
    https://markovate.com/blog/ai-tech-stack/ A IMPORTÂNCIA DESE CONHECER DIFERENTES PRODUTOS E ARQUITETURAS EM IA Ahirton Lopes @ahirtonlopes
  • 20.
    FLUXO DE TRABALHOEM PROJETOS DE IA https://efagundes.com/projetos-de-inteligencia-artificial/ Ahirton Lopes @ahirtonlopes
  • 21.
    Identificar as Origem Extrair Limpar Refinar Criarum Algoritmo Analisar uma Amostragem Tomar Decisão 1.Identificação do Problema 2.Coleta e limpeza de dados 3.Desenvolvimento do Modelo Preditivo 4. Publicação do Modelo 5. Monitoramento da performance O TRABALHO EM DADOS É CÍCLICO Ahirton Lopes @ahirtonlopes
  • 22.
    O sucesso deum produto de IA depende de uma equipe com funções bem definidas: • Cientista de Dados: Criação de modelos preditivos a partir de dados. • Engenheiro de Dados: Estruturação de pipelines e preparação dos dados. • Engenheiro de Machine Learning: Implementação e escalabilidade dos modelos. • Analista de Negócios: Conexão entre soluções de IA e metas empresariais. • Product Manager de IA: Gestão estratégica e coordenação das equipes. Cada papel é fundamental para garantir que as soluções de IA sejam eficientes e impactem positivamente o negócio. DADOS É SOBRE TIMES Ahirton Lopes @ahirtonlopes
  • 23.
    Além dos papéisprincipais, funções complementares são essenciais para a entrega completa de um produto de IA: • Engenheiro de Software: Integra soluções de IA nos sistemas existentes. • Especialista em UX/UI: Cria interfaces intuitivas e acessíveis para usuários finais. • Engenheiro DevOps/MLOps: Automatiza o ciclo de vida de desenvolvimento e operação dos modelos. • Compliance e Ética: Garante conformidade com regulamentações e governança responsável. Essas funções garantem que o produto de IA seja robusto, escalável e fácil de usar. DADOS É SOBRE TIMES Ahirton Lopes @ahirtonlopes
  • 24.
    DADOS É SOBRE ADAPTABILIDADE Parao sucesso de produtos de IA, é crucial integrar habilidades técnicas e de negócios em equipes multidisciplinares. A colaboração entre cientistas de dados, engenheiros, analistas e designers promove inovação e eficiência, garantindo que o desenvolvimento tecnológico esteja alinhado com os objetivos estratégicos da empresa. Essa integração é o que impulsiona a entrega ágil e eficaz de soluções de IA. Ahirton Lopes @ahirtonlopes
  • 25.
  • 26.
  • 27.
  • 28.
    HABILIDADES PARA PROFISSIONAIS EMDADOS E IA Ahirton Lopes @ahirtonlopes
  • 29.
    Microsoft Machine LearningProducts Ahirton Lopes,
  • 30.
    Machine Learning atscale with Azure Ahirton Lopes,
  • 31.
    Machine Learning atscale with Azure Use Cases: • Retail: Revenue forecasting for each store and item; • Supply Chain: Inventory optimization for product-warehouse combinations; • Restaurants: Demand forecasting for each franchise. Architectural Considerations: • Data Partitioning: Divide datasets by store/product; • Model Management: Use tags to identify data partitions and model versions; • Choosing Architecture: Use Spark for complex transformations, Scikit-learn for simpler pipelines. Parallel Execution: • ParallelRunStep Class: Run parallel training and inference in Python with custom environments. Online Inferencing: • On-Demand Model Loading: Prevent memory overload, with a slight increase in latency. Cost Optimization: Ahirton Lopes,
  • 32.
    Machine Learning atscale with Azure Ahirton Lopes,
  • 33.
    Machine Learning atscale with Azure Ahirton Lopes,
  • 34.
    Machine Learning atscale with Azure Ahirton Lopes,
  • 35.
    Machine Learning atscale with Azure Ahirton Lopes,
  • 36.
    Machine Learning atscale with Azure Ahirton Lopes,
  • 37.
    Key Takeways • Azure:A Robust Platform. • Scalable solutions for Machine Learning and Generative AI; • Services: Azure Databricks, Synapse, AKS; • Supports custom environments and parallel processing; • Key Takeaway: Align architecture choices with business goals; • Focus on performance and ROI through proper architecture. Ahirton Lopes,
  • 38.
    Obrigado / Thankyou! Ahirton Lopes, PhD. Ele/Dele Head of Data [email protected] https://www.linkedin.com/in/ahirtonlopes https://github.com/ahirtonlopes https://x.com/ahirtonlopes

Notas do Editor

  • #24 Referência: https://www.wiley.com/en-us/Big+Data%2C+Data+Mining%2C+and+Machine+Learning%3A+Value+Creation+for+Business+Leaders+and+Practitioners-p-9781118618042 Para o sucesso de produtos de IA, é crucial integrar habilidades técnicas e de negócios em equipes multidisciplinares. A colaboração entre cientistas de dados, engenheiros, analistas e designers promove inovação e eficiência, garantindo que o desenvolvimento tecnológico esteja alinhado com os objetivos estratégicos da empresa. Essa integração é o que impulsiona a entrega ágil e eficaz de soluções de IA.