Eu realmente preciso de GenAI?
Dr. Ahirton Lopes
Head of Data @ TIVIT
Professor de MBA @ FIAP
Dr. Ahirton Lopes
Head of Data @ TIVIT
Professor de MBA, Corporate e PSE @ FIAP
5x Most Valuable Professional – AI @Microsoft
Google Developer Expert – Machine Learning
LinkedIn Top Voice
Doutor em Engenharia Elétrica e Computação pela
Universidade Presbiteriana Mackenzie (UPM)
Organizador da comunidade AI Brasil e pesquisador em
Machine e Deep Learning
TÓPICOS
Introdução a IA e GenAI
IA e Modelos Generativos, o
que são? Casos de uso,
técnicas mais usuais e
próximos passos
ChatGPT, MidJourney e outras
IAs
Estrutura e modelagem – Como
escolher o que usar?
Casos de uso e problemas em
aberto
Novos usos em GenAI, modelos e
problemas ainda em aberto
GenAI e Produtividade
Exemplos Práticos para
seu dia a dia
1N73L163NC14 3 4
H481L1D4D3 D3 53
4D4P74R 4
MUD4NÇ4
5
Programa
Entrada
Saída
Desenvolvedor
Programação
6
Machine
Learning
Entrada
Saída
Esperada
Cientista
de Dados
Programa
Aprendizagem de Máquina (ML)
7
Entrada
Saída
Programa
Execução
IA “estreita” vs. IA “generalista”
Algoritmos e suas abordagens
Regressão
Clusterização
Detecção de
Anomalias
Sistemas de
Recomendação
Classificação
Bio-
inspirados
Problemas tipicamente resolvidos via IA/ML
Descoberta de conhecimento
Machine vs. Deep Learning
Machine vs. Deep Learning
Por que Deep Learning?
Deep Learning
- Uma rede neural profunda consiste em uma hierarquia de camadas, em que cada
camada transforma os dados de entrada em representações mais abstratas (por
exemplo, borda -> nariz -> face).
- A camada de saída combina esses recursos para fazer previsões.
Deep Learning
Deep Learning
- Cada camada é representada como uma série de neurônios e, progressivamente, extrai recursos de maior
e maior nível da entrada até que a camada final faça essencialmente uma decisão sobre o que a entrada
mostra;
- Quanto mais camadas a rede tiver, maiores serão as características que ela aprenderá.
Deep Learning
- Ou seja, a rede acaba gerndo um sinal de erro que mede a diferença entre as previsões da rede e os valores
desejados e, em seguida, usa-se este sinal de erro para alterar os pesos (ou parâmetros) para que as
previsões fiquem cada vez mais precisas.
Labrador ou frango frito?
PROBLEMAS COMPLEXOS
MODELOS GENERATIVOS (GenAI)
Visão Computacional
Processamento de Linguagem Natural Robótica
TTS – STT – Fala Computacional
Qual o desafio? O entendimento de entradas não estruturadas e complexos
Generative Adversarial Networks
Richard Feynman: “O que eu não consigo criar, eu não entendo”
Modelagem Generativa: “O que eu entendo, eu consigo criar!”
Como gerar imagens mais naturais com um computador?
Nossos modelos terão estruturas similares (generativo + inferência)
Geração Inferência
Modelagem Generativa:
Computação Gráfica
Cubo(cor=azul, posição=(x,y,z), tamanho=…)
Cilindro(cor=vermelho, posição=(x’,y’,z’), tamanho=..)
Descrição de
alto nível
Saídas
sensoriais
brutas
Modelos generativos estatísticos são construídos a partir de dados
Conhecimento anterior é necessário, mas há um espectro
Prior Knowledge
(e.g., physics, materials, ..)
+
Data
(e.g., images of bedrooms)
Modelos Generativos Estatísticos
…
Um modelo estatístico generativo é uma distribuição de probabilidade p(x)
• Dados: amostras (por exemplo, imagens de quartos) ;
• Conhecimento prévio: forma paramétrica (por exemplo, gaussiana?), função de perda
(por exemplo, máxima verossimilhança - likelihood?), algoritmo de otimização, etc.
É generativo porque a amostragem de p(x) gera novas imagens
Modelos Generativos Estatísticos
probabilidade p(x)
Uma distribuição
de probabilidade
p(x)
Imagem x
…
Discriminativos vs. Generativos
A imagem X é dada.
Objetivo: limite de decisão, via distribuição condicional sobre o
rótulo Y
Ex: regressão logística, rede convolucional etc.
Borda Decisória
Discriminativo: classificar quarto vs. sala de jantar Generativo: gerar X
A entrada X não é dada. Requer
um modelo da distribuição
conjunta sobre X e Y
… …
Y=B , X=
Y=B , X=
Y=D , X=
Y=D , X=
Y=B , X= Y=D , X=
Atenção
PROGRESSO EM MODELOS GENERATIVOS
Progresso em Modelos Generativos
Progresso em Problemas Inversos
Menon et al, 2020 Liu al, 2018
P(high resolution | low resolution) P(full image| mask)
P(color image| greyscale)
Antic, 2020
Progresso em Problemas Inversos
35
Machine Translation
Conditional generative model P( English text| Chinese text)
Figure from Google AI research blog.
Language Generation
Radford et al., 2019
Demo de talktotransformer.com
P(next word | previous words)
Code Generation
OpenAI Codex
Imagens e Texto
P(image | caption)
Transformação de Imagem
Conditional generative model
P( zebra images| horse images)
Zhu et al., 2017
1. Criar workflows mais inteligentes;
2. Automatizar processos de dados e
engenharia;
3. Democratização de dados na companhia;
4. Escalar suporte a usuários;
5. Suportar serviços de tradução, linguagem
e outros onde o pixel, caractere etc. não
trás muita informação por si só
(orientados a sequências e contextos).
Quando usar GenAI?
RAG ou Fine Tuning?
RAG – Retrieval Augmented Generation
Fine Tuning
• O que queremos em nossos próximos sistemas de IA?
• Inteligibilidade;
• Conscientização sobre Dados (Data Awareness);
• Acontabilidade;
• Direitos Humanos;
• Segurança.
OBRIGADO
ahirtonlopes@gmail.com
Hacktown 2024 - Eu realmente preciso de GenAI?

Hacktown 2024 - Eu realmente preciso de GenAI?

  • 1.
    Eu realmente precisode GenAI? Dr. Ahirton Lopes Head of Data @ TIVIT Professor de MBA @ FIAP
  • 2.
    Dr. Ahirton Lopes Headof Data @ TIVIT Professor de MBA, Corporate e PSE @ FIAP 5x Most Valuable Professional – AI @Microsoft Google Developer Expert – Machine Learning LinkedIn Top Voice Doutor em Engenharia Elétrica e Computação pela Universidade Presbiteriana Mackenzie (UPM) Organizador da comunidade AI Brasil e pesquisador em Machine e Deep Learning
  • 3.
    TÓPICOS Introdução a IAe GenAI IA e Modelos Generativos, o que são? Casos de uso, técnicas mais usuais e próximos passos ChatGPT, MidJourney e outras IAs Estrutura e modelagem – Como escolher o que usar? Casos de uso e problemas em aberto Novos usos em GenAI, modelos e problemas ainda em aberto GenAI e Produtividade Exemplos Práticos para seu dia a dia
  • 4.
    1N73L163NC14 3 4 H481L1D4D3D3 53 4D4P74R 4 MUD4NÇ4
  • 5.
  • 6.
  • 7.
  • 8.
    IA “estreita” vs.IA “generalista”
  • 9.
    Algoritmos e suasabordagens Regressão Clusterização Detecção de Anomalias Sistemas de Recomendação Classificação Bio- inspirados
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
    Por que DeepLearning?
  • 15.
    Deep Learning - Umarede neural profunda consiste em uma hierarquia de camadas, em que cada camada transforma os dados de entrada em representações mais abstratas (por exemplo, borda -> nariz -> face). - A camada de saída combina esses recursos para fazer previsões.
  • 16.
  • 17.
    Deep Learning - Cadacamada é representada como uma série de neurônios e, progressivamente, extrai recursos de maior e maior nível da entrada até que a camada final faça essencialmente uma decisão sobre o que a entrada mostra; - Quanto mais camadas a rede tiver, maiores serão as características que ela aprenderá.
  • 18.
    Deep Learning - Ouseja, a rede acaba gerndo um sinal de erro que mede a diferença entre as previsões da rede e os valores desejados e, em seguida, usa-se este sinal de erro para alterar os pesos (ou parâmetros) para que as previsões fiquem cada vez mais precisas.
  • 19.
    Labrador ou frangofrito? PROBLEMAS COMPLEXOS
  • 20.
  • 21.
    Visão Computacional Processamento deLinguagem Natural Robótica TTS – STT – Fala Computacional Qual o desafio? O entendimento de entradas não estruturadas e complexos
  • 22.
  • 24.
    Richard Feynman: “Oque eu não consigo criar, eu não entendo” Modelagem Generativa: “O que eu entendo, eu consigo criar!”
  • 25.
    Como gerar imagensmais naturais com um computador? Nossos modelos terão estruturas similares (generativo + inferência) Geração Inferência Modelagem Generativa: Computação Gráfica Cubo(cor=azul, posição=(x,y,z), tamanho=…) Cilindro(cor=vermelho, posição=(x’,y’,z’), tamanho=..) Descrição de alto nível Saídas sensoriais brutas
  • 26.
    Modelos generativos estatísticossão construídos a partir de dados Conhecimento anterior é necessário, mas há um espectro Prior Knowledge (e.g., physics, materials, ..) + Data (e.g., images of bedrooms) Modelos Generativos Estatísticos …
  • 27.
    Um modelo estatísticogenerativo é uma distribuição de probabilidade p(x) • Dados: amostras (por exemplo, imagens de quartos) ; • Conhecimento prévio: forma paramétrica (por exemplo, gaussiana?), função de perda (por exemplo, máxima verossimilhança - likelihood?), algoritmo de otimização, etc. É generativo porque a amostragem de p(x) gera novas imagens Modelos Generativos Estatísticos probabilidade p(x) Uma distribuição de probabilidade p(x) Imagem x …
  • 28.
    Discriminativos vs. Generativos Aimagem X é dada. Objetivo: limite de decisão, via distribuição condicional sobre o rótulo Y Ex: regressão logística, rede convolucional etc. Borda Decisória Discriminativo: classificar quarto vs. sala de jantar Generativo: gerar X A entrada X não é dada. Requer um modelo da distribuição conjunta sobre X e Y … … Y=B , X= Y=B , X= Y=D , X= Y=D , X= Y=B , X= Y=D , X=
  • 29.
  • 30.
  • 32.
  • 33.
    Progresso em ProblemasInversos Menon et al, 2020 Liu al, 2018 P(high resolution | low resolution) P(full image| mask) P(color image| greyscale) Antic, 2020
  • 34.
  • 35.
    35 Machine Translation Conditional generativemodel P( English text| Chinese text) Figure from Google AI research blog.
  • 36.
    Language Generation Radford etal., 2019 Demo de talktotransformer.com P(next word | previous words)
  • 37.
  • 38.
  • 39.
    Transformação de Imagem Conditionalgenerative model P( zebra images| horse images) Zhu et al., 2017
  • 41.
    1. Criar workflowsmais inteligentes; 2. Automatizar processos de dados e engenharia; 3. Democratização de dados na companhia; 4. Escalar suporte a usuários; 5. Suportar serviços de tradução, linguagem e outros onde o pixel, caractere etc. não trás muita informação por si só (orientados a sequências e contextos). Quando usar GenAI?
  • 42.
    RAG ou FineTuning?
  • 43.
    RAG – RetrievalAugmented Generation
  • 44.
  • 45.
    • O quequeremos em nossos próximos sistemas de IA? • Inteligibilidade; • Conscientização sobre Dados (Data Awareness); • Acontabilidade; • Direitos Humanos; • Segurança.
  • 46.

Notas do Editor

  • #3 Redes Neurais Convolucionais Baseadas em Região - Família de modelos de aprendizado de máquina para visão computacional e especificamente detecção de objetos. Modelos generativos são amplamente utilizados em muitos subcampos de IA e Machine Learning. Avanços recentes na parametrização desses modelos usando redes neurais profundas, combinados com o progresso nos métodos de otimização estocástica, permitiram a modelagem escalável de dados complexos e de alta dimensão, incluindo imagens, texto e fala. Neste curso, estudaremos os fundamentos probabilísticos e os algoritmos de aprendizado para modelos generativos profundos, incluindo autoencoders variacionais, redes adversárias generativas, modelos autorregressivos, modelos de fluxo normalizador, modelos baseados em energia, modelos baseados em pontuação, redes neurais convolucionais baseadas em região, transformers e muito mais. O curso também discutirá áreas de aplicação que se beneficiaram de modelos generativos profundos, incluindo visão computacional, processamento de fala e linguagem natural, mineração de gráficos, aprendizado de reforço, aprendizado de máquina confiável e resolução de problemas inversos.
  • #21 Problema: dar sentido a entradas sensoriais complexas e não estruturadas. Imagens, fala, texto, vídeo, etc. https://commons.wikimedia.org/wiki/Language#/media/File:Floor_7a_bookstacks_in_Sterling_Memorial_Library.jpg https://commons.wikimedia.org/wiki/File:EmiMa-099-semantic-segmentation.png https://commons.wikimedia.org/wiki/File:Waveform_of_Habana_syndrome_sound.png https://commons.wikimedia.org/w/index.php?title=Special:Search&limit=500&offset=0&ns0=1&ns6=1&ns12=1&ns14=1&ns100=1&ns106=1&search=Autonomous+cars&advancedSearch-current={}
  • #24 Https://commons.wikimedia.org/wiki/Category:Richard_Feynman#/media/File:Richard_Feynman_1959.png http://archives-dc.library.caltech.edu/islandora/object/ct1%3A483
  • #25 Computação gráfica: Produzir imagens plausíveis Você escolhe modelos, condições, parâmetros de imagem, etc. Visão: Dadas imagens com ruído, estime as quantidades físicas (problema mal colocado) Construir um modelo generativo não é toda a história. A inferência (por exemplo, visão) ainda é difícil. Portanto, não é inteiramente verdade que, se podemos criar, entendemos. Mas é um passo útil
  • #26 Estamos preocupados com modelos estatísticos generativos Gráficos: puramente baseados em conhecimento prévio. Difícil escalar. Desenvolver o campo levou muito tempo. Ainda não totalmente resolvido, área ativa de pesquisa. Motivação: Reduzir a quantidade de conhecimento prévio e usar dados. (aprendizado de máquina)
  • #27 Estamos preocupados com modelos estatísticos generativos Gráficos: puramente baseados em conhecimento prévio. Difícil escalar. Desenvolver o campo levou muito tempo. Ainda não totalmente resolvido, área ativa de pesquisa. Motivação: Reduzir a quantidade de conhecimento prévio e usar dados. (aprendizado de máquina) Nota: não é possível fazer algo puramente baseado em dados. Resultados de impossibilidade conhecidos. Mesmo em espaços discretos, o escalonamento da complexidade da amostra seria duplamente exponencial.
  • #29 Suponha que queremos identificar a raça do cachorro nesta imagem. Quando olhamos para os pixels vermelhos, tendemos a prestar mais atenção aos pixels relevantes que são mais semelhantes ou relevantes a eles, que podem ser os da caixa amarela. Removemos quase completamente a neve do fundo e a roupa humana para esta tarefa. No entanto, quando começamos a olhar para o plano de fundo na tentativa de identificar o que está nele, vamos esmaecer os pixels do cachorro porque eles são irrelevantes para a tarefa atual.
  • #45 Queremos basicamente a mesma coisa: Inteligibilidade: Processos e contratos compreensíveis; Conscientização sobre Dados (Data Awareness): Onde (e como) ele será utilizado? Acontabilidade: Quem é o dono do dado? O que pode fazer? É respos’vaiel por eventuais vazamentos? Direitos Humanos: As tecnologias de uso de dados devem preserver os aspectos de direitos humanos; Segurança: Segurança e privacidade por design.