Télécharger en tant que PDF, PPTX
![ALGORITHME DE CART
Parmi les plus performants et plus répandus
Accepte tout type de variables
Utilise le Critère de séparation : Indice de Gini
Avec n : nombre de classes à prédire
fi : fréquence de la classe dans le nœud
Plus l’indice de Gini est bas, plus le nœud est pure
En séparant 1 nœud en 2 nœuds fils on cherche la plus grande
hausse de la pureté
La variable la plus discriminante doit maximiser
IG(avant séparation)-[IG(fils1)+……+IG(filsn)]
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-4-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de M:
IG(avant séparation)-[IG(M=Faible)+IG(M=Moyen)+IG(M=Elevé)]
=
0.46875 – [0.4444444 + 0.4444444 + 0]
=
-0.4201388
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-11-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de A:
IG(avant séparation)-[IG(A=Jeune)+IG(A=Moyen)+IG(A=Agé)]
=
0.46875 – [0 + 0.5 + 0]
=
-0.03125
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-16-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de R:
IG(avant séparation)-[IG(R=Village)+IG(R=Bourg)+IG(R=Ville)]
=
0.46875 – [0.4444444 + 0.5 + 0.4444444]
=
-0.9201388
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-21-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de E:
IG(avant séparation)-[IG(E=Oui)+IG(E=Non)]
=
0.46875 – [0.48+0]
=
-0.01125388
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-25-2048.jpg)
![PREMIER RESULTAT DE L’INDICE
DE GINI
La variable la plus séparatrice est celle qui maximise :
IG(avant séparation)-[IG(fils1)+IG(fils2)+……+IG(filsn)]
E
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-26-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de M avec E=Oui :
IG(avant séparation1)-[IG(M=Faible)+IG(M=Moyen)+IG(M=Elevé)]
=
0.48 – [0 + 0.4444444 + 0]
=
0.0355556
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-33-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de A avec E=Oui:
IG(avant séparation1)-[IG(A=Jeune)+IG(A=Moyen)+IG(A=Agé)]
=
0.48 – [0 + 0 + 0]
=
0.48
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-38-2048.jpg)
![CALCUL DE L’INDICE DE GINI
Indice de Gini de R avec E=Oui: :
IG(avant séparation1)-[IG(R=Village)+IG(R=Bourg)+IG(R=Ville)]
=
0.48 – [0 + 0 + 0.4444444]
=
0.0355556
Mohamed Heny SELMI © ESPRIT Data Mining](https://image.slidesharecdn.com/datamining-classification-arbresdedcision-160229203903/75/Data-mining-Classification-arbres-de-decision-43-2048.jpg)
Téléchargé parMohamed Heny SELMI
Data mining - Classification - arbres de décision
Le document présente des modèles de classification basés sur des règles, mettant l'accent sur les arbres de décision et les forêts aléatoires. Il décrit en détail le processus de construction d'un arbre de décision en choisissant le meilleur attribut pour la segmentation à l'aide de l'indice de Gini, tout en fournissant des exemples d'analyse des données clients. L'algorithme CART est également discuté pour son efficacité dans le traitement de différents types de variables.
Data mining - Classification - arbres de décision
- 1. CLASSIFICATION MODÈLES À BASEDE RÈGLES : ARBRES DE DÉCISION FORÊT ALÉATOIRES DATA MINING Mohamed Heny SELMI [email protected]
- 2. PRINCIPE ALGORITHMIQUE DESARBRES DE DÉCISIONS Procédure construire-arbre(X) SI tous les individus I appartiennent à la même modalité de la variable décisionnelle ALORS créer un nœud feuille portant le nom de cette classe : Décision SINON choisir le meilleur attribut pour créer un nœud // l’attribut qui sépare le mieux le test associé à ce nœud sépare X en des branches : Xd………Xg construire-arbre(Xd) … … … construire-arbre(Xg) FIN Mohamed Heny SELMI © ESPRIT Data Mining
- 3. CHOIX DU MEILLEURATTRIBUT POUR CRÉER UN NŒUD Mohamed Heny SELMI © ESPRIT Data Mining - Il existe plusieurs méthodes pour choisir le meilleur attribut à placer dans un nœud : Algorithme C4.5, C5.0 CHAID Chi-squared Automatic Interaction Detector ID3 entropie de Shannon CART Classification and regression trees : Indice de GINI - l’indice de GINI est le meilleur moyen pour la construction de l’arbre car il est le seul indice qui répond aux questions suivantes : Comment choisir la variable à segmenter parmis les variables explicatives disponibles ? Lorsque la variable est continue, comment déterminer le seuil de coupe ? Comment déterminer la bonne taille de l’arbre ?
- 4. ALGORITHME DE CART Parmi les plus performants et plus répandus Accepte tout type de variables Utilise le Critère de séparation : Indice de Gini Avec n : nombre de classes à prédire fi : fréquence de la classe dans le nœud Plus l’indice de Gini est bas, plus le nœud est pure En séparant 1 nœud en 2 nœuds fils on cherche la plus grande hausse de la pureté La variable la plus discriminante doit maximiser IG(avant séparation)-[IG(fils1)+……+IG(filsn)] Mohamed Heny SELMI © ESPRIT Data Mining
- 5. EXEMPLE – INFORMATIONQUALITATIVE Une banque dispose des informations suivantes sur un ensemble de clients: M : moyenne des montants sur le compte client. A : tranche d'âge du client. R : localité de résidence du client. E : valeur oui si le client a un niveau d'études supérieures. I : classe oui correspond à un client qui effectue une consultation de ses comptes bancaires en utilisant Internet Mohamed Heny SELMI © ESPRIT Data Mining
- 6. CALCUL DE L’INDICEDE GINI Indice de Gini avant séparation au NIVEAU DE LA RACINE : 8 clients I=oui : 3 clients I=non : 5 clients IG(avant séparation) = 1 – ( (3/8)² + (5/8)² ) = 0.46875 Fréquence des I = oui Fréquence des I = non Mohamed Heny SELMI © ESPRIT Data Mining
- 7. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable M (Moyenne des montants sur le compte client ): 3 valeurs de M M= Faible : 3 clients M= Moyen: 3 clients M= Elevé: 2 clients I=oui : 1 client I=non : 2 clients I=oui : 2 clients I=non : 1 client I=oui : 0 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 8. CALCUL DE L’INDICEDE GINI Indice de Gini de fils M = Faible : 3 clients IG(M=Faible) = 1 – ( (1/3)² + (2/3)² ) = 0.4444444 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 9. CALCUL DE L’INDICEDE GINI Indice de Gini de fils M = Moyen : 3 clients IG(M=Moyen) = 1 – ( (2/3)² + (1/3)² ) = 0.4444444 Fréquence des I = oui Fréquence des I = non I=oui : 2 clients I=non : 1 client Mohamed Heny SELMI © ESPRIT Data Mining
- 10. CALCUL DE L’INDICEDE GINI Indice de Gini de fils M = Elevé : 2 clients IG(M=Elevé) = 1 – ( (0/2)² + (2/2)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 0 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 11. CALCUL DE L’INDICEDE GINI Indice de Gini de M: IG(avant séparation)-[IG(M=Faible)+IG(M=Moyen)+IG(M=Elevé)] = 0.46875 – [0.4444444 + 0.4444444 + 0] = -0.4201388 Mohamed Heny SELMI © ESPRIT Data Mining
- 12. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable A (Tranche d'âge du client): 3 valeurs de A A= Jeune : 1 client A= Moyen: 4 clients A= Agé: 3 clients I=oui : 1 client I=non : 0 clients I=oui : 2 clients I=non : 2 clients I=oui : 0 clients I=non : 3 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 13. CALCUL DE L’INDICEDE GINI Indice de Gini de fils A = Jeune : 1 client IG(A=Jeune) = 1 – ( (1/1)² + (0/1)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 0 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 14. CALCUL DE L’INDICEDE GINI Indice de Gini de fils A = Moyen : 4 clients IG(A=Moyen) = 1 – ( (2/4)² + (2/4)² ) = 0.5 Fréquence des I = oui Fréquence des I = non I=oui : 2 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 15. CALCUL DE L’INDICEDE GINI Indice de Gini de fils A = Agé : 3 clients IG(A=Agé) = 1 – ( (0/3)² + (3/3)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 0 clients I=non : 3 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 16. CALCUL DE L’INDICEDE GINI Indice de Gini de A: IG(avant séparation)-[IG(A=Jeune)+IG(A=Moyen)+IG(A=Agé)] = 0.46875 – [0 + 0.5 + 0] = -0.03125 Mohamed Heny SELMI © ESPRIT Data Mining
- 17. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable R(Localité de résidence du client): 3 valeurs de R R= Village : 2 clients R= Bourg: 3 clients R= Ville: 3 clients I=oui : 1 client I=non : 1 client I=oui : 1 client I=non : 2 clients I=oui : 1 client I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 18. CALCUL DE L’INDICEDE GINI Indice de Gini de fils R= Village : 2 clients IG(R= Village) = 1 – ( (1/2)² + (1/2)² ) = 0.5 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 1 client Mohamed Heny SELMI © ESPRIT Data Mining
- 19. CALCUL DE L’INDICEDE GINI Indice de Gini de fils R= Bourg : 3 clients IG(R= Bourg) = 1 – ( (1/3)² + (2/3)² ) = 0.4444444 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 20. CALCUL DE L’INDICEDE GINI Indice de Gini de fils R= Ville: 3 clients IG(R=Ville) = 1 – ( (1/3)² + (2/3)² ) = 0.4444444 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 21. CALCUL DE L’INDICEDE GINI Indice de Gini de R: IG(avant séparation)-[IG(R=Village)+IG(R=Bourg)+IG(R=Ville)] = 0.46875 – [0.4444444 + 0.5 + 0.4444444] = -0.9201388 Mohamed Heny SELMI © ESPRIT Data Mining
- 22. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable E(Niveau d'études du client): 2 valeurs de E E= Oui : 5 clients E= Non: 3 clients I=oui : 3 clients I=non : 2 clients I=oui : 0 clients I=non : 3 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 23. CALCUL DE L’INDICEDE GINI Indice de Gini de fils E= Oui : 5 clients IG(E=Oui) = 1 – ( (3/5)² + (2/5)² ) = 0.48 Fréquence des I = oui Fréquence des I = non I=oui : 3 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 24. CALCUL DE L’INDICEDE GINI Indice de Gini de fils E= Non : 3 clients IG(E=Non) = 1 – ( (0/3)² + (3/3)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 0 clients I=non : 3 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 25. CALCUL DE L’INDICEDE GINI Indice de Gini de E: IG(avant séparation)-[IG(E=Oui)+IG(E=Non)] = 0.46875 – [0.48+0] = -0.01125388 Mohamed Heny SELMI © ESPRIT Data Mining
- 26. PREMIER RESULTAT DEL’INDICE DE GINI La variable la plus séparatrice est celle qui maximise : IG(avant séparation)-[IG(fils1)+IG(fils2)+……+IG(filsn)] E Mohamed Heny SELMI © ESPRIT Data Mining
- 27. CONSTRUCTION DE L’ARBRE E I=Non OUINON Mohamed Heny SELMI © ESPRIT Data Mining
- 28. Indice de Giniavant séparation avec E = Oui : 5 clients IG(avant séparation1) = 1 – ( (3/5)² + (2/5)² ) = 0.48 Fréquence des I = oui Fréquence des I = non CALCUL DE L’INDICE DE GINI : E=OUI I=oui : 3 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 29. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable M (Moyenne des montants sur le compte client ) avec E=Oui: 3 valeurs de M M= Faible : 1 client M= Moyen: 3 clients M= Elevé: 1 client I=oui : 1 client I=non : 0 clients I=oui : 2 clients I=non : 1 clients I=oui : 0 clients I=non : 1 client Mohamed Heny SELMI © ESPRIT Data Mining
- 30. CALCUL DE L’INDICEDE GINI Indice de Gini de fils M = Faible & E = Oui : 1 client IG(M=Faible & E=Oui) = 1 – ( (1/1)² + (0/1)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 0 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 31. CALCUL DE L’INDICEDE GINI Indice de Gini de fils M = Moyen & E = Oui : 3 clients IG(M=Moyen & E=Oui) = 1 – ( (2/3)² + (1/3)² ) = 0.4444444 Fréquence des I = oui Fréquence des I = non I=oui : 2 clients I=non : 1 client Mohamed Heny SELMI © ESPRIT Data Mining
- 32. CALCUL DE L’INDICEDE GINI Indice de Gini de fils M = Elevé & E = Oui: 1 client IG(M=Elevé & E=Oui) = 1 – ( (0/1)² + (1/1)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 0 clients I=non : 1 client Mohamed Heny SELMI © ESPRIT Data Mining
- 33. CALCUL DE L’INDICEDE GINI Indice de Gini de M avec E=Oui : IG(avant séparation1)-[IG(M=Faible)+IG(M=Moyen)+IG(M=Elevé)] = 0.48 – [0 + 0.4444444 + 0] = 0.0355556 Mohamed Heny SELMI © ESPRIT Data Mining
- 34. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable A (Tranche d'âge du client) avec E=Oui : 3 valeurs de A A= Jeune : 1 client A= Moyen: 2 clients A= Agé: 2 clients I=oui : 1 client I=non : 0 clients I=oui : 2 clients I=non : 0 clients I=oui : 0 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 35. CALCUL DE L’INDICEDE GINI Indice de Gini de fils A = Jeune & E = Oui : 1 client IG(A=Jeune & E = Oui) = 1 – ( (1/1)² + (0/1)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 0 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 36. CALCUL DE L’INDICEDE GINI Indice de Gini de fils A = Moyen & E = Oui : 2 clients IG(A=Moyen & E = Oui ) = 1 – ( (2/2)² + (0/2)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 2 clients I=non : 0 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 37. CALCUL DE L’INDICEDE GINI Indice de Gini de fils A = Agé & E = Oui : 2 clients IG(A=Agé & E = Oui ) = 1 – ( (0/2)² + (2/2)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 0 clients I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 38. CALCUL DE L’INDICEDE GINI Indice de Gini de A avec E=Oui: IG(avant séparation1)-[IG(A=Jeune)+IG(A=Moyen)+IG(A=Agé)] = 0.48 – [0 + 0 + 0] = 0.48 Mohamed Heny SELMI © ESPRIT Data Mining
- 39. CALCUL DE L’INDICEDE GINI Indice de Gini de la variable R(Localité de résidence du client) avec E=Oui : 3 valeurs de R R= Village : 1 client R= Bourg: 1 client R= Ville: 3 clients I=oui : 1 client I=non : 0 clients I=oui : 1 client I=non : 0 clients I=oui : 1 client I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 40. CALCUL DE L’INDICEDE GINI Indice de Gini de fils R= Village & E = Oui : 1 clients IG(R= Village & E = Oui ) = 1 – ( (1/1)² + (0/1)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 0 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 41. CALCUL DE L’INDICEDE GINI Indice de Gini de fils R= Bourg & E = Oui : 1 client IG(R= Bourg & E = Oui ) = 1 – ( (1/1)² + (0/1)² ) = 0 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 0 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 42. CALCUL DE L’INDICEDE GINI Indice de Gini de fils R= Ville & E = Oui : 3 clients IG(R=Ville & E = Oui ) = 1 – ( (1/3)² + (2/3)² ) = 0.4444444 Fréquence des I = oui Fréquence des I = non I=oui : 1 client I=non : 2 clients Mohamed Heny SELMI © ESPRIT Data Mining
- 43. CALCUL DE L’INDICEDE GINI Indice de Gini de R avec E=Oui: : IG(avant séparation1)-[IG(R=Village)+IG(R=Bourg)+IG(R=Ville)] = 0.48 – [0 + 0 + 0.4444444] = 0.0355556 Mohamed Heny SELMI © ESPRIT Data Mining
- 44. L’ARBRE DE DÉCISION E I=Non OUINON A Jeune Moyen Agé I=Oui I=Oui I=Non Mohamed Heny SELMI © ESPRIT Data Mining
- 45. EVALUATION ET VALIDATIONDU MODÈLE Matrice de contingence Table de confusion Taux d’erreur Indicateur trop réducteur Validation par croisement Outil d’évaluation Outil de comparaison des modèles Courbe ROC mesure de la performance d'un modèle prédictif, Comparée au choix aléatoire Courbe LIFT Mohamed Heny SELMI © ESPRIT Data Mining