Baixar para ler offline
![[José Ahirton Lopes] Treinamento - Árvores de Decisão, SVM e Naive Bayes](https://cdn.slidesharecdn.com/ss_thumbnails/treinamentodeveloperssp-180611021639-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DTC21] Raphael Castilho - Começando com Inteligência Artificial e Machine Le...](https://cdn.slidesharecdn.com/ss_thumbnails/iaemachine-210317154040-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Congresso Ads & Performance] Modelos preditivos e machine learning - Aplicaç...](https://cdn.slidesharecdn.com/ss_thumbnails/27-03-techdata-bernardoaflalo-190409123616-thumbnail.jpg?width=640&height=640&fit=bounds)
Ci171 intro
- 1. David Menotti www.inf.ufpr.br/menotti/ci171-182 Universidade Federaldo Paraná (UFPR) Bacharelado em Informática Biomédica Uma introdução à Machine Learning
- 2. Hoje • Introdução sobreAM (aula 02) 2
- 3. Aprendizado de Máquinas •Herbert Alexander Simon: “Aprendizado é qualquer processo pelo qual um sistema melhora sua performance pela experiência.” • “Machine Learning está preocupado com programas de computador que automaticamente melhoram sua performance pela experiência. “ • Economista / Matemática 1913 - 2001 – Simulaçao computacional da Cognição humana (~1954) 3 1913 - 2001
- 4. Por que MachineLearning? • Desenvolver sistemas que podem automaticamente se adaptar e se customizar para usuários individuais. – Notícias personalizadas OU Filtro de email • Descobrir novo conhecimento a partir / usando grandes bases de dados (data mining). – Análise de carrinho de supermer. (e.g. fraldas e cervejas) 4
- 5. Por que MachineLearning? • Habilidade de imitar humanos e substituí-los em certas tarefas monótonas - que exigem alguma inteligência. – Como o reconhecimento de caracteres manuscritos • Desenvolver sistemas que são muito difíceis / caros para construir manualmente porque eles requerem habilidades ou conhecimento detalhados específicos ajustados para uma tarefa específica (gargalo de engenharia do conhecimento). 5
- 6. Por que AGORA? •Inundação de dados disponíveis – especialmente com o advento da internet). • Incremento de força computacional • Progresso crescente de: – algoritmos disponíveis – teoria desenvolvida por pesquisadores • Aumento no suporte/apoio das indústrias 6
- 7.
- 8. O Conceito deAprendizado • Aprendizado = Melhoria com experiência em alguma tarefa – Melhoria sobre a tarefa T – Com respeito a medida de desempenho D – Baseado na experiência E 8
- 9. Motivação - Filtrode SPAM • Example: Spam Filtering Spam ( Sending and Posting Advertisement in Mass ) – é todo email que o usuário não queria receber e não autorizou o recebimento T: Identificar emails SPAM D: % de emails spam que foram filtrados % de emails non-spam (ham) que foram incorretamente filtrados E: uma base de dados de emails que foram rotulados pelos usuários 9
- 10. O Processo deAprendizado 10
- 11. O Processo deAprendizado 11
- 12. O Processo deAprendizado ● Número de destinatários ● Tamanho da Mensagem ● Número de anexos ● Número de “re’s” no assunto Servidor de Emails 12
- 13. A Base deDados (Data Set) Número de novos destinatários Tamanho do Email (kb) País (IP) Tipo de Cliente Tipo de Email 0 2 Brasil Ouro Ok 1 4 Brasil Prata Ok 5 2 Argentina Bronze Spam 2 4 Russia Bronze Spam 3 4 Brasil Bronze Ok 0 1 EUA Prata Ok 4 2 EUA Prata Spam Instâncias Nominal Ordinal Numéricos Atributos Atributo Meta 13
- 14. Aprendizado do Modelo Basede Dados Conjunto de Aprendizado (Treinamento) Indutor Algoritmo de Indução Classificador Modelo de Classificação 14
- 15. Avaliação do Modelo Basede Dados Conjunto de Avaliação (Teste) Indutor Algoritmo de Indução Classificador Modelo de Classificação 15
- 16.
- 17. Análise da Classificação Númerode novos destinatários OK 17
- 18. Análise da Classificação Númerode novos destinatários OK 18
- 19. Análise da Classificação Númerode novos destinatários OK Spam Erro 19
- 20. Análise da Classificação Númerode novos destinatários OK 20
- 21. Análise da Classificação Númerode novos destinatários OK Erro 21
- 22. • Outro atributo- confusão? Análise da Classificação Tamanho do Email (kbytes) 22
- 23. • Como vocêclassificaria estes dados? Classificadores Lineares Número de novos destinatários Tamanho do Email 23
- 24. • Como vocêclassificaria estes dados? Classificadores Lineares Número de novos destinatários Tamanho do Email 24
- 25. 1. Coloca-se onovo email no espaço 2. Classifica-o de acordo com o subespaço no qual ele “reside” Quando um novo email é enviado Número de novos destinatários Tamanho do Email 25
- 26. Classificadores Lineares Número denovos destinatários Tamanho do Email Como você classificaria estes dados? 26 • Várias separações são possíveis
- 27. Como você classificariaestes dados? Classificadores Lineares Número de novos destinatários Tamanho do Email • Várias separações são possíveis - Tamanho do Email? 27
- 28. Como você classificariaestes dados? Classificadores Lineares Número de novos destinatários Tamanho do Email • Várias separações são possíveis - Número de novos dest.? 28
- 29. Qualquer uma delasseria uma boa escolha … … mas qual é a melhor? Classificadores Lineares Número de novos destinatários Tamanho do Email 29
- 30. Definir a margemde um classificador linear como a largura que o limite da margem pode ser aumentado antes de atingir/acertar um ponto Margem Classificadora Número de novos destinatários Tamanho do Email 30
- 31. A margem máximado classificador linear é o classificador linear com a margem máxima. Este é o classificador mais simples do tipo SVM (Support Vector Machines) chamado de LSVM Margem Máxima Número de novos destinatários Tamanho do Email Linear SVM 31
- 32. Como você classificariaestes dados? Nenhum Classificador Linear pode cobrir todas as instâncias Tamanho do Email Número de novos destinatários 32
- 33. • Idealmente, amelhor fronteira de decisão deveria ser aquela que provê um desempenho ótimo tal como ... Nenhum Classificador Linear 33
- 34. Nenhum Classificador Linear podecobrir todas as instâncias Tamanho do Email Número de novos destinatários 34
- 35. • No evento,a satisfação imediata é prematura porque o objetivo central do desenvolvimento de um classificador é o de classificar corretamente uma nova entrada Problema de Generalização Nenhum Classificador Linear 35
- 36. Qual delas? Tamanho do Email # denovos destinatários 2 Erros Modelo Simples Tamanho do Email 0 Erro Modelo Complexo # de novos destinatários 36
- 37. Avaliando o quefoi Aprendido Tamanho do Email 1. Aleatoriamente seleciona-se uma porção dos dados para ser usada para aprendizado (o conjunto de treinamento) 2. Aprende-se o modelo a partir do conjunto de treinamento 3. Uma vez treinado, o modelo é executado sobre as instâncias remanescentes (o conjunto de teste) para ver como ele se comporta Número de novos destinatários Azul Verm. Azul 7 1 Verm. 1 5 Real (Esperado) Classificado como Matriz de Confusão 37
- 38. O Caso Não-linearmenteSeparável Número de novos destinatários Tamanho do Email 38
- 39. O Caso Não-linearmenteSeparável Número de novos destinatários Tamanho do Email 39
- 40. O Caso Não-linearmenteSeparável Número de novos destinatários Tamanho do Email 40
- 41. O Caso Não-linearmenteSeparável Número de novos destinatários Tamanho do Email 41
- 42. Aprendizado Lazy (Preguiçoso) •A generalização além do dados de treinamento é postergada até que uma nova instância é fornecida ao sistema 42
- 43. Aprendizado Lazy Instance-based learning Conjuntode Treinamento 43
- 44. Aprendizado Lazy K-Nearest Neighbors Númerode novos destinatários Tamanho do Email ● Qual deve ser o K? ● Qual medida de distância deve ser usada? 44
- 45. Árvores de Decisão -Uma estrutura de árvore do tipo fluxograma - Nós internos denotam uma avaliação em UM atributo - Cada galho representa um resultado da avaliação - Nós-folha representam uma classe/rótulo/meta Árvores de decisão dividem o espaço de características em eixos paralelos retangulares e rotulam cada retângulo com uma classe 45
- 46. Indução Top Downde Árvores de Decisão Tamanho do Email Número de novos destinatários OK SPAM Uma árvore de decisão de um único nível é também conhecida como um Cepo/Toco-Decisão (decision stump) 1 Erro 8 Erros Tam.Email ≥ 1.8 < 1.8 46
- 47. Indução Top Downde Árvores de Decisão Tamanho do Email Número de novos destinatários OK SPAM 1 Erro 8 Erros Tam.Email ≥ 1.8 < 1.8 OK SPAM 4 Erros 11 Erros #Nov. Dest. ≥ 2.3 < 2.3 47
- 48. Indução Top Downde Árvores de Decisão Tamanho do Email Número de novos destinatários OK SPAM 1 Erro 8 Erros Tam.Email ≥ 1.8 < 1.8 OK SPAM 4 Erros 11 Erros Tam.Email ≥ 2.3 < 2.3 48
- 49. Indução Top Downde Árvores de Decisão Tamanho do Email Número de novos destinatários SPAM 1 Erro Tam.Email ≥ 1.8 < 1.8 OK SPAM 3 Erros 1 Erro Tam.Email ≥ 4 < 4 49
- 50. Indução Top Downde Árvores de Decisão Tamanho do Email Número de novos destinatários SPAM 1 Erro Tam.Email ≥ 1.8 < 1.8 SPAM 1 Erro Tam.Email ≥ 4 < 4 #Nov. Dest OK SPAM 0 Erro 1 Erro < 1 ≥ 1 50
- 51. Qual Árvore? Tamanho do Email # denovos destinatários Tamanho do Email # de novos destinatários 51
- 52. Overfitting & Underfitting Overtraining:significa que ele aprendeu demais o conj. de treinamento (decorou) - ele se superajustou ao conj. de treinamento de forma que ele se desempenha mal no conj. de teste Underfitting: significa que o modelo é muito simples, o erro no treino e no teste é muito grande 52
- 53. Modelo de RedeNeuronal Entradas Idade Gênero Estágio Variáveis independentes Pesos Camadas Escondidas Pesos Variável dependente Predição “Probabilidade de estar vivo” Saída 53
- 54.
- 55.
- 56.
- 57.
- 58. Aprendizado de Ensembles •A ideia é usar múltiplos modelos para obter melhor desempenho preditivo que se poderia obter a partir de qualquer um dos modelos constituintes • Teoria da diversidade 58 Comitês Combinação Fusão
- 59. Aprendizado de Ensembles •Bagging (variance) envolve a construção de um ensemble (comitê) treinando cada nova instância de modelo de classificação com conjuntos de treinamento diferentes (aleatoriamente escolhidos). • Boosting (bias) ... para enfatizar as instâncias de treinamento que foram mal classificadas por modelos anteriores. 59
- 60. Exemplo de Ensembleof Weak Classifiers 60
- 61.
- 62. Navalha de Occam(Século XIV) 62 • Do latim “ lex parsimoniae” – A lei da parcimônia (economia) • A explicação de qualquer fenômeno deve fazer o menor número possível de suposições, eliminando aquelas que não fazem diferença nas predições observáveis da hipótese explicativa ou da teoria • O Dilema de Occam: Infelizmente, em AM, acurácia e simplicidade estão em conflito.
- 63. No Free LunchTheorem em Aprendizado de Máquina 63 • “ Para quaisquer dois algoritmos de aprendizado, há tantas situações (apropriadamente ponderadas) nas quais o algoritmo 1 é superior ao algoritmo 2 e vice-versa, de acordo com qualquer uma das medidas de ‘superioridade’ “
- 64. Então por quedesenvolver novos algoritmos? 64 • O “desenvolvedor” (você) está preocupado em escolher o algoritmo mais apropriado para o problema em questão • Isso requer algum conhecimento a priori - distribuição de dados, probabilidades anteriores, complexidade do problema, a física do fenômeno subjacente, etc.
- 65. Então por quedesenvolver novos algoritmos? 65 • O teorema do No Free Lunch nos diz que - a menos que tenhamos algum conhecimento a priori - classificadores simples (ou complexos) não são necessariamente melhores que outros. No entanto, dadas algumas informações a priori, certos classificadores podem melhorar as características de certos tipos de problemas. • O principal desafio do “desenvolvedor” é, então, identificar a correspondência correta entre o problema e o classificador! ... o que é mais um motivo para se armar com um conjunto diversificado de arsenal de aprendiz!
- 66. Menos é Mais 66 •A maldição da dimensionalidade (Bellman, 1961)
- 67. Menos é Mais Amaldição da dimensionalidade 67 • Aprender a partir de um espaço de característica de alta dimensionalidade requer uma quantidade enorme de dados de treinamento para garantir que haja várias amostras com cada combinação de valores. • Com uma quantidade fixa de número de instâncias de treinamento, o poder de preditibilidade reduz à medida que aumenta a dimensionalidade.
- 68. Menos é Mais Amaldição da dimensionalidade • Como contra-medida, muitas técnicas de redução de dimensionalidade foram propostas, e foi demonstrado que, quando feitas adequadamente, as propriedades ou estruturas dos objetos podem ser preservadas. • No entanto, aplicar ingenuamente a redução de dimensionalidade pode levar a resultados desastrosos. 68
- 69. • Como aredução de dimensionalidade é uma ferramenta importante no aprendizado de máquinas / mineração de dados / reconhecimento de padrões, deve-se estar sempre atento que ela pode distorcer os dados levando a representações enganosas. • Acima temos uma projeção bidimensional de um mundo intrinsecamente tridimensional. 69
- 70. Fotógrafo desconhecido ©Eammonn Keogh & Jessica Lin ● https://cs.gmu.edu/~jessica/DimReducDanger.htm 70
- 71. 71 • Recomenda-se usaro video original www.cs.gmu.edu/~jessica/DimReducDanger.htm Redução da Dimensionalidade
- 72.
- 73. 73 Menos é Mais? •No passado (2000-2010), o conselho disseminado era que a alta dimensionalidade era perigosa. • Mas, reduzir dimensionalidade reduz a quantidade de informações disponíveis para previsão/aprendizado. • Hoje: tenta-se ir na direção oposta: em vez de reduzir a dimensionalidade, aumenta-a adicionando muitas funções das variáveis preditoras. • Quanto maior a dimensionalidade do conjunto de recursos, maior a probabilidade de ocorrer a separação (linear).
- 74. 74 Significado das Respostas •Um grande risco em mineração de dados é que você “descobrirá” padrões sem sentido. • Os estatísticos chamam isso de princípio de Bonferroni: (grosseiramente) se você procurar em mais lugares por padrões interessantes do que sua quantidade de dados suportará, você está fadado a encontrar “porcaria”.
- 75. 75 Exemplos do Princípiode Bonferroni • Rastreamento de Terroristas • O paradóxo de Rhine: um grande exemplo de como não conduzir pesquisa científica
- 76. 76 Por que orastreamento de Terroristas é (Quase) Impossível? • Suponha a crença de que certos grupos de malfeitores estão se encontrando ocasionalmente em hotéis para planejar a realização do mal. • Deseja-se encontrar pessoas (não relacionadas) que tenham ficado pelo menos duas vezes no mesmo hotel no mesmo dia.
- 77. 77 Os detalhes • 109 (umbilhão) pessoas estão sendo rastreadas • Por 1000 dias (≅3 anos) • Cada pessoa fica em um hotel 1% do tempo (10 dias dos 1000) • Hotéis acomodam 100 pessoas (então 105 hotéis) • Se cada um comporta-se aleatoriamente (i.e., não malfeitores) a mineração de dados vai detectar alguma coisa suspeita?
- 78. 78 As Contas (1) •A probabilidade de que dado que as pessoas p & q vão estar no mesmo hotel em um dado dia d – 1/100 x 1/100 x 10-5 = 10-9 . • A probabilidade de p & q estejam no mesmo hotel nos dias d2 e d2: – 10-9 x 10-9 = 10-18 • Pares de dias (combinação de 1000 tomados 2 a 2) – ≅5.105 .
- 79. 79 As Contas (2) •A probabilidade de p & q estarem no mesmo hotel em “algum” par de dias: – 5.105 x 10-18 = 5.10-13 • Pares de Pessoas: – 5.1017 • Número esperado de pares de pessoas suspeitas: – 5.1017 x 5.10-13 = 250 000.
- 80. 80 Conclusão • Suponha queexistem 10 pares de malfeitores que definitivamente estiveram no mesmo hotel duas vezes • Os analistas/agentes tem que vascular entre 250.010 candidatos para encontrar os 10 casos reais – Nada vai acontecer ! – Como podemos melhorar este esquema?
- 81. 81 Moral da História •Quando estiver procurando por uma propriedade (e.g., “duas pessoas que estiveram em um mesmo hotel duas vezes”), certifique-se de que a propriedade não permite tantas possibilidades que dados aleatórios certamente produzam fatos "de interesse".
- 82. 82 Paradóxo de Rhine(1) • Joseph Rhine foi um parapsicólogo na década de 1950, que supunha que algumas pessoas tinham percepção extra-sensorial. • Ele inventou (algo como) uma experiência em que os participantes foram solicitados a adivinhar 10 cartas escondidas - vermelho ou azul. • Ele descobriu que quase 1 em 1000 tinha PES - eles conseguiram acertar todos os 10!
- 83. 83 Paradóxo de Rhine(2) • Ele disse a essas pessoas que elas tinham PES e as chamou para outro teste do mesmo tipo. • Infelizmente, ele descobriu que quase todos eles haviam perdido sua PES. – Nenhuma pessoa acertou novamente? • O que ele concluiu? – Responda no próximo slide.
- 84. 84 Paradóxo de Rhine(3) • Ele concluiu que você não deveria dizer às pessoas elas têm PES; – faz com que elas a percam.
- 85. 85 Moral da História •Entender o princípio de Bonferroni ajudará você a se parecer um pouco menos estúpido do que um Parapsicólogo
- 86. 86 Instabilidade e oEfeito Rashomon • Rashomon é um filme japonês em que quatro pessoas, de diferentes pontos de vista, testemunham um incidente criminal. Quando eles vêm para testemunhar no tribunal, todos relatam os mesmos fatos, mas suas histórias do que aconteceu são muito diferente. • O efeito Rashomon é o efeito da subjetividade da percepção na lembrança (recollection).
- 87. 87 Instabilidade e oEfeito Rashomon • O Efeito Rashomon em AM é que muitas vezes há uma multiplicidade de classificadores que dão a mesma taxa de erro mínima. • Por exemplo, em árvores de decisão, se o conjunto de treinamento é perturbado apenas levemente, eu posso obter uma árvore bem diferente do original, mas com quase o mesmo erro do conjunto de testes.
- 88. 88 A Sabedoria dasMultidões Por que Muitos são mais inteligentes que Alguns e como a Inteligência Coletiva pode transformar... • Sob certas condições controladas, a agregação de informações em grupos, resultando em decisões que são frequentemente superior aos que podem ser feitos por qualquer um - até mesmo especialistas. • Imita nossa segunda natureza de procurar várias opiniões antes de fazer qualquer decisão crucial. Nós pesamos as opiniões individuais e as combinamos para alcançar uma decisão final.
- 89. 89 Comitês de Especialistas -"... uma escola de medicina que tem como objetivo que todos alunos, dado um problema, cheguem a uma solução idêntica" • Não há muito sentido em criar um comitê de especialistas de tal grupo - tal comitê não melhorará o julgamento de um indivíduo. • Considerar: – É preciso haver desacordo para o comitê ter o potencial de ser melhor que um indivíduo.
- 90. 90 Outras Tarefas deAprendizado
- 91. 91 Aprendizado Supervisionado -MultiClass Número de novos destinatários Tamanho do Email
- 92. 92 Aprendizado Supervisionado -Multi-Label Número de novos destinatários Tamanho do Email Multi-label learning refere-se ao problema de classificação onde cada exemplo pode ser atribuído a múltiplos rótulos simultaneamente
- 93. 93 Aprendizado Supervisionado -Regressão Número de novos destinatários Tamanho do Email Encontrar uma relação entre uma variável dependente numérica e uma ou mais variáveis independentes
- 94. 94 Aprendizado Não-Supervisionado Detecção deAnomalias Número de novos destinatários Tamanho do Email Detectar padrões em um dado conjunto de dados que não se comportam / conformam a um comportamento padrão estabelecido.
- 95. 95 Aprendizado Não-Supervisionado Clustering Númerode novos destinatários Tamanho do Email Clustering é a designação de um conjunto de observações em subconjuntos (chamados clusters / aglomerados ) de forma que as observações no mesmo cluster sejam similares (em algum sentido)
- 96. 96 Fontes de Dadosde Treinamento • Fornecimento de exemplos aleatórios fora do controle do Algoritmo (learner). – Exemplos negativos disponíveis ou somente positivos? • Aprendizagem Semi-Supervisionada – Desbalanceamento de classes ( atributo meta ) • O Algoritmo pode consultar um oráculo sobre a classe de um exemplo não rotulado no ambiente. – Aprendizado ativo
- 97. 97 Fontes de Dadosde Treinamento • O Algoritmo pode construir um exemplo arbitrário e consultar um oráculo para seu rótulo. – Interpolação de exemplo vs Desembalancemento • O Algoritmo pode executar diretamente no ambiente sem qualquer orientação humana e obter feedback. – Aprendizagem por reforço (reinforcement learning) • Não há conceito de classe existente – Uma forma de descoberta • Aprendizagem não supervisionada – Clustering – Regras de Associação
- 98. 98 Outras Tarefas deAprendizado • Outras configurações de aprendizado supervisionadas – Multi-class Classification – Multi-label Classification – Semi-supervised Classification • uso de dados rotulados e não rotulados – One Class Classification - somente instâncias de um rótulo são fornecidas • Aprendizagem de Ranking e Preferências – Máquinas de Busca – Máquinas de Recomendação
- 99. 99 Outras Tarefas deAprendizado • Aprendizado on-line e Aprendizado incremental – Aprende uma instância por vez. • Concept drift • Multi-task Learning & Transfer Learning – DeepLearning • Classificação coletiva - quando as instâncias são dependentes! – Multiple-instance learning
- 100.
- 101. Quer Aprender Mais? -T. Mitchell, Machine Learning, McGraw Hill, 1997. - http://www.cs.cmu.edu/afs/cs.cmu.edu/user/mitchell/ftp/mlbook.html - R. Duda, P Hard and D. Stork, Pattern Classification, Wiley-Interscience, 2000. - C. M. Bishop, Pattern Recognition and Machine Learning, Springer, 2006. - Simon Rogers and Mark Girolami. A First Course in Machine Learning - second edition Chapman & Hall/CRC, 2016. 101
- 102. Referências - Notas deaulas do Prof. Lior Rokach - [email protected] - http://www.ise.bgu.ac.il/faculty/liorr/ - MOOC - Massive online-courses - https://www.class-central.com - edX - Stanford University (coursera) - Andrew Ng - Udacity 102
- 103. Nota Importante - Osslides desta aula são uma tradução com adaptações das notas de aulas do Prof. Lior Rokach - Email: [email protected] - Homepage: http://www.ise.bgu.ac.il/faculty/liorr/ - Slides: https://pt.slideshare.net/liorrokach/introduction-to-machine-learning-13809045 103
- 104.