Árvore de Decisão
IA - INTELIGÊNCIA ARTIFICIAL
Professor:
Cloves Rocha
PhD Student in Computer Science
MSc. in Computer Science
Agenda
⚫ Introdução
⚫ O que é?
⚫ Elementos
⚫ Características
⚫ Vantagens e Desvantagens
⚫ Ganho de Informação e Entropia
⚫ Principais Algoritmos
⚫ Exemplos
⚫ Bibliografia
Professor: Cloves Rocha | Árvore de Decisão
Introdução
1959: William. A. Belson propõe uma “técnica para
combinar” amostras de população;
1984: Breiman et al, Classification and Regression
Trees (CART);
1987: J. R. Quinlan, discute técnicas para
simplificação, mantendo a precisão.
Professor: Cloves Rocha | Árvore de Decisão
O que é?
Árvores de decisão (Decision Tree) são modelos
estatísticos que utilizam um treinamento
supervisionado para a classificação e previsão de
dados.
Estes modelos utilizam a estratégia de dividir para
conquistar (Gama, 2004).
Professor: Cloves Rocha | Árvore de Decisão
Elementos
Professor: Cloves Rocha | Árvore de Decisão
Elementos
➔Cada nó representa um ponto de decisão que irá testar
um atributo;
➔Cada ramo descendente corresponde a um possível valor
do atributo;
➔Cada nó folha está associado a uma classe;
➔Cada percurso na árvore (da raiz a uma folha)
corresponde a uma regra de classificação.
Professor: Cloves Rocha | Árvore de Decisão
Características
● Permite comparar possíveis ações
com base em seus custos,
probabilidades ou benefícios;
● Adquirem conhecimento simbólico a
partir dos dados de treinamento;
● Retorna valores discretos;
● Podem ser representadas como
conjuntos de regras IF-THEN.
Professor: Cloves Rocha | Árvore de Decisão
Vantagens
● Fácil interpretação. Percebe-se a razão da decisão;
● Atributos mais relevantes aparecem mais na parte superior da árvore (Entropia e
Ganho de Informação);
● Adaptável também a problemas de regressão (Árvores de Regressão).
Professor: Cloves Rocha | Árvore de Decisão
Desvantagens
● Podem se tornar complexas (verificar condição de parada);
● Sensibilidade a pequenas perturbações no conjunto de treino (necessário de
árvore).
Ganho de informação e Entropia
● Através da análise do ganho de informação e da entropia, busca-se o nó que
pode melhor prever o resultado da classificação;
● Há maior ganho de informação através do atributo que, ao se tornar um nó,
produz subconjuntos com menor entropia.
Professor: Cloves Rocha | Árvore de Decisão
Principais Algoritmos
● Classification And Regression Trees (CART)
Desenvolvido por Breiman, é caracterizado pelo fato de construir árvores binários,
ou seja, cada nó possui exatamente duas bordas de saída.
A árvore criada é dividida através do critério de complexidade de custo.
O CART pode lidar com variáveis numéricas e categóricas e também com valores
discrepantes.
Professor: Cloves Rocha | Árvore de Decisão
Principais Algoritmos
● Iterative Dichotomiser 3 (ID3)
Desenvolvido por Ross Quinlan, a árvore é construída com base na maximização
do ganho de informações e na minimização da entropia, no qual os resultados
são usados para dividir o conjunto de objetos. Esse processo é feito de forma
recursiva até que o conjunto em uma determinada subárvore seja homogêneo
(isto é, contém objetos pertencentes à mesma categoria).
Professor: Cloves Rocha | Árvore de Decisão
Principais Algoritmos
● C4.5
Versão melhorada no ID3, no qual os novos recursos são: aceitam atributos
contínuos e discretos; lida com pontos de dados incompletos; resolve o problema
de over-fitting através da técnica de poda; e pesos diferentes podem ser
aplicados aos recursos que compõem os dados de treinamento.
Professor: Cloves Rocha | Árvore de Decisão
Principais Algoritmos
● C4.5
Versão melhorada no ID3, no qual os novos recursos são: aceitam atributos
contínuos e discretos; lida com pontos de dados incompletos; resolve o problema
de over-fitting através da técnica de poda; e pesos diferentes podem ser
aplicados aos recursos que compõem os dados de treinamento.
Professor: Cloves Rocha | Árvore de Decisão
Exemplos
➢ Diagnóstico médico
➢ Chatbot
➢ Análise de crédito
Professor: Cloves Rocha | Árvore de Decisão
Bibliografia
➔ BELSON, William. A. Matching and Prediction on the Principle of Biological
Classification. Applied Statistics, 1959;
➔ FRATELLO, Michele, TAGLIAFERRI, Roberto. Decision Trees and Random
Forests.
Reference Module in Life Sciences, 2018;
➔ GAMA, J. Functional Trees. Machine Learning, p. 219-250, 2004.
➔ QUINLAN, John Ross. Simplifying decision trees. International Journal of
Man-Machine Studies, p. 221–234, 1987;
➔ TOPÎRCEANU, Alexandru, GROSSECK, Gabriela. Decision tree learning used
for the classification of student archetypes in online courses. Procedia
Computer Science, p. 51–60, 2017.
Obrigado! Thank you!
Dúvidas?
<?php
print("ACESSO AO MATERIAL");
Professor: Cloves Rocha | Árvore de Decisão

Árvore de Decisão | IA

  • 1.
    Árvore de Decisão IA- INTELIGÊNCIA ARTIFICIAL Professor: Cloves Rocha PhD Student in Computer Science MSc. in Computer Science
  • 2.
    Agenda ⚫ Introdução ⚫ Oque é? ⚫ Elementos ⚫ Características ⚫ Vantagens e Desvantagens ⚫ Ganho de Informação e Entropia ⚫ Principais Algoritmos ⚫ Exemplos ⚫ Bibliografia Professor: Cloves Rocha | Árvore de Decisão
  • 3.
    Introdução 1959: William. A.Belson propõe uma “técnica para combinar” amostras de população; 1984: Breiman et al, Classification and Regression Trees (CART); 1987: J. R. Quinlan, discute técnicas para simplificação, mantendo a precisão. Professor: Cloves Rocha | Árvore de Decisão
  • 4.
    O que é? Árvoresde decisão (Decision Tree) são modelos estatísticos que utilizam um treinamento supervisionado para a classificação e previsão de dados. Estes modelos utilizam a estratégia de dividir para conquistar (Gama, 2004). Professor: Cloves Rocha | Árvore de Decisão
  • 5.
    Elementos Professor: Cloves Rocha| Árvore de Decisão
  • 6.
    Elementos ➔Cada nó representaum ponto de decisão que irá testar um atributo; ➔Cada ramo descendente corresponde a um possível valor do atributo; ➔Cada nó folha está associado a uma classe; ➔Cada percurso na árvore (da raiz a uma folha) corresponde a uma regra de classificação. Professor: Cloves Rocha | Árvore de Decisão
  • 7.
    Características ● Permite compararpossíveis ações com base em seus custos, probabilidades ou benefícios; ● Adquirem conhecimento simbólico a partir dos dados de treinamento; ● Retorna valores discretos; ● Podem ser representadas como conjuntos de regras IF-THEN. Professor: Cloves Rocha | Árvore de Decisão
  • 8.
    Vantagens ● Fácil interpretação.Percebe-se a razão da decisão; ● Atributos mais relevantes aparecem mais na parte superior da árvore (Entropia e Ganho de Informação); ● Adaptável também a problemas de regressão (Árvores de Regressão). Professor: Cloves Rocha | Árvore de Decisão Desvantagens ● Podem se tornar complexas (verificar condição de parada); ● Sensibilidade a pequenas perturbações no conjunto de treino (necessário de árvore).
  • 9.
    Ganho de informaçãoe Entropia ● Através da análise do ganho de informação e da entropia, busca-se o nó que pode melhor prever o resultado da classificação; ● Há maior ganho de informação através do atributo que, ao se tornar um nó, produz subconjuntos com menor entropia. Professor: Cloves Rocha | Árvore de Decisão
  • 10.
    Principais Algoritmos ● ClassificationAnd Regression Trees (CART) Desenvolvido por Breiman, é caracterizado pelo fato de construir árvores binários, ou seja, cada nó possui exatamente duas bordas de saída. A árvore criada é dividida através do critério de complexidade de custo. O CART pode lidar com variáveis numéricas e categóricas e também com valores discrepantes. Professor: Cloves Rocha | Árvore de Decisão
  • 11.
    Principais Algoritmos ● IterativeDichotomiser 3 (ID3) Desenvolvido por Ross Quinlan, a árvore é construída com base na maximização do ganho de informações e na minimização da entropia, no qual os resultados são usados para dividir o conjunto de objetos. Esse processo é feito de forma recursiva até que o conjunto em uma determinada subárvore seja homogêneo (isto é, contém objetos pertencentes à mesma categoria). Professor: Cloves Rocha | Árvore de Decisão
  • 12.
    Principais Algoritmos ● C4.5 Versãomelhorada no ID3, no qual os novos recursos são: aceitam atributos contínuos e discretos; lida com pontos de dados incompletos; resolve o problema de over-fitting através da técnica de poda; e pesos diferentes podem ser aplicados aos recursos que compõem os dados de treinamento. Professor: Cloves Rocha | Árvore de Decisão
  • 13.
    Principais Algoritmos ● C4.5 Versãomelhorada no ID3, no qual os novos recursos são: aceitam atributos contínuos e discretos; lida com pontos de dados incompletos; resolve o problema de over-fitting através da técnica de poda; e pesos diferentes podem ser aplicados aos recursos que compõem os dados de treinamento. Professor: Cloves Rocha | Árvore de Decisão
  • 14.
    Exemplos ➢ Diagnóstico médico ➢Chatbot ➢ Análise de crédito Professor: Cloves Rocha | Árvore de Decisão
  • 15.
    Bibliografia ➔ BELSON, William.A. Matching and Prediction on the Principle of Biological Classification. Applied Statistics, 1959; ➔ FRATELLO, Michele, TAGLIAFERRI, Roberto. Decision Trees and Random Forests. Reference Module in Life Sciences, 2018; ➔ GAMA, J. Functional Trees. Machine Learning, p. 219-250, 2004. ➔ QUINLAN, John Ross. Simplifying decision trees. International Journal of Man-Machine Studies, p. 221–234, 1987; ➔ TOPÎRCEANU, Alexandru, GROSSECK, Gabriela. Decision tree learning used for the classification of student archetypes in online courses. Procedia Computer Science, p. 51–60, 2017.
  • 16.
    Obrigado! Thank you! Dúvidas? <?php print("ACESSOAO MATERIAL"); Professor: Cloves Rocha | Árvore de Decisão