Business Intelligence
Un processus technologique pour une prise de décision efficace
Agile SCRUM 2 jours =12 heures
17/12/2024
Mouhame
d Anouar
FARSI
PLAN:
Introductio
n
Conclusio
n
Contexte du BI
00
Contexte
• Toutes les entreprises accumulent de grandes quantités de données au travers de
leurs systèmes d’informations.
- Données opérationnelles (de production) réparties sur plusieurs systèmes (bases
de données relationnelles , Fichiers, …)
- Distribuées : systèmes dispersés
- Hétérogènes : systèmes et structures de données différents
- Détaillées : organisation de données selon les processus fonctionnels
- Peu/pas adaptées à l’analyse : des requêtes lourdes peuvent bloquer
le système transactionnel
- Volatiles : pas d’historisation systématique, données fréquemment
modifiées
• Ces données ne deviennent des informations pertinentes pour les décideurs que
lorsqu’elles permettent de répondre à des questions sur la rentabilité de l’entreprise
et sur son évolution.
Constat
Données
stockées
Outils
d’analyse
personnel
Différent
s
niveaux
Information
non
consolidée
Pourquoi la prise de décision est si difficile?
Processus de la décision humaine :
Je suis en train de transpirer:
● s'il fait chaud dehors==> c'est normal ==> je vais me mettre au frais
● s'il ne fait pas chaud==> j'ai de la fièvre ==> je vais chez le médecin
Processus de la décision dans une entreprise :
> Evaluer un chiffre par rapport à un objectif spécifique.
> Surveiller le progrès d'un indicateur au fil du temps.
> Agréger des données provenant de divers systèmes pour obtenir une information à valeur
ajoutée.
une information isolée possède peu de valeur, elle n'aura de sens que
comparée à d'autres informations
Contexte
• Exemple:
- Un catalogue de produits sera conçu pour permettre de trouver facilement un
produit en fonction de caractéristiques précises, de faire des mises à jour
rapides et fiables, de gérer des stocks...
Mais un décideur souhaitera :
- connaître l'organisation des produits selon certaines caractéristiques et
regroupements qui ne sont pas forcément pris en considération dans la gestion
quotidienne;
- croiser le catalogue des produits avec les transactions des ventes...
Contexte
• Pour être aidés dans leurs choix, les décideurs ont besoin de mesurer l’activité de
l’entreprise à l’aide d’indicateurs de performance.
• Il est donc nécessaire de transformer la masse de données en provenance des
multiples sources opérationnelles en informations pertinentes pour la prise de
décision.
• On développe des analyses de performances à partir de données transformées à
destinations de chef des ventes, de manager sur le terrain.
Business intelligence (BI)
Définition
01
Qu'est-ce que le Business intelligence (BI)?
Business Intelligence
Le BI est un ensemble de moyens, méthodes,
outils permettant de collecter, consolider,
modéliser, restituer les données d’une
entreprise, en vue d’offrir une aide à la décision
Business Intelligence : Définitions
1. BI : “Terme générique qui englobe les applications, l'infrastructure, les outils et les meilleures
pratiques permettant l'accès et l'analyse de l'information afin d'améliorer et d'optimiser les
décisions et les performances.” Howard Dresner
2. BI : “Un ensemble de stratégies et de technologies utilisées par les entreprises pour l'analyse
des données d'informations commerciales.” Wikipedia
3. BI : “Un processus axé sur la technologie pour analyser les données et fournir des
informations exploitables qui aident les cadres, les gestionnaires et les travailleurs à prendre
des décisions commerciales éclairées”. TechTarget
Evolution de l’informatique dans les entreprises
Informatique
Décisionnelle
(BI)
Informatique
opérationnelle
décentralisée
Informatique
opérationnelle
centralisée
Informatique
de Gestion
Années
2000
Années
90
Années
80
Années
70
Qu'est-ce que le Business intelligence (BI)?
• Domaines d’utilisation de la BI :
- Finance, avec le Reporting financiers et budgétaires.
- Vente et commercial, avec l’analyse des points de vente, l’analyse de la
profitabilité.
- Marketing, avec la segmentation clients, les analyses comportementales.
- Logistique, avec l’optimisation de la gestion de stock, le suivi des
livraisons.
- Ressources humaines, avec l’optimisation de l’allocation des ressources.
Qu'est-ce que le Business intelligence (BI)?
• La problématique du BI porte sur des questions de genre:
- Comment se portent les ventes ?
- Quels sont les produits qui se vendent le mieux ?
- Mes employés sont-ils efficaces ?
- Quels sont mes points de vente qui rapportent le plus à ma société ?
• Pour répondre à ces questions, il faut collecter les données à partir des
applications métiers tel que ERP ,CRM, SAP etc... et stocker les généralement dans
ce que l'on appelle un entrepôt de données.
• L'Objectif de la BI est d'analyser le passé et d'anticiper le futur.
 Pour y arriver , Il faut exploiter les données et mettre en place un suivi de la
performance grâce à des indicateurs de performance [en anglais : KPI =Key
Performance Indicators].
BI : Les
objectifs
02
Les objectifs d’un processus BI
Analyse
concurrentiell
e
Collaboration
et partage
des
information
Prise de
décision
éclairée
Amélioration
de la
performance
financière
Planification
et
prévisions
Suivi des
indicateurs
clés de
performance
Objectif
s
(a) Qualité des données :
Les données doivent être exactes, complètes, cohérentes et fiables pour garantir des
résultats précis et pertinents
(b) Intégration des données :
L'enjeu consiste à intégrer ces données provenant de diverses sources, telles que les bases
de données, les fichiers plats, les applications cloud, etc.
(c) Confidentialité des données :
Le BI implique la manipulation et l'analyse de données sensibles et stratégiques pour une
entreprise
Les enjeux d’un processus BI
(d) Scalabilité et performance :
Le volume de données utilisées dans les initiatives de BI peut être très important, ce qui
pose des défis en termes de scalabilité et de performance.
(e) Évolution technologique :
Le domaine du BI est en constante évolution, avec de nouvelles technologies, des
tendances émergentes et des innovations constantes.
(f) Complexité des données :
Les données utilisées dans le cadre du BI peuvent être complexes et variées.
Les enjeux d’un process BI
Les rôles dans le BI
• Initialement, les outils BI étaient principalement utilisés par les analystes de données
et les professionnels informatiques qui se chargeaient d’analyser les données et de
produire des rapports.
• Aujourd’hui, de plus en plus les exécutifs et les employés utilisent eux-mêmes les
logiciels BI, notamment grâce à l’essor du self-service BI et des outils de découverte
de données.
Non-Informaticien
Informaticien
Les rôles dans le BI
• Pour réussir l’analyse de données, Microsoft décrit 5 rôles dans le BI
- Un administrateur de base de données surveille et gère la santé globale d'une base de
données et du matériel sur lequel elle réside
- Les scientifiques des données effectuent des analyses avancées pour extraire la valeur
des données
- Les principales responsabilités des ingénieurs de données incluent l'utilisation des
services et des outils de données sur site et dans le cloud pour ingérer,
sortir et transformer des données provenant de plusieurs sources.
- Les analystes de données sont responsables du profilage, du nettoyage et de la
transformation des données, de la conception et de la création de modèles de
données évolutifs et performants, ainsi que de l'activation et de la mise en
œuvre des capacités d'analyse avancées dans les rapports d'analyse.
- Un analyste commercial est le plus proche de l'entreprise elle-même et est un spécialiste
de l'interprétation des données issues de la visualisation
Les indicateurs de performance (KPI)
• Instrument d’analyse à la fois illustratif, représentatif,
significatif, permettant de mesurer l’atteinte des objectifs.
• Indicateurs d’efficacité
• Indicateurs de capacité
• Indicateurs de productivité
• Indicateurs de qualité
• Indicateurs de rentabilité
• Ils sont définis à partir de ce que l'on appelle les business drivers
Les indicateurs de performance (KPI)
• Les Business drivers sont des pilotes de croissance qui vont
permettre
l'amélioration des performances. Il en existe 3 types:
- Stratégique
exemples : part de marché , la force concurrentielle, etc.
- Organisationnel
exemples : formation , développement, etc.
- Opérationnel
exemples: productivité , excellence des produits, etc.
• Le driver le plus commun est la rentabilité.
• Pour créer ces KPI et les rapports détaillant ces KPI il faut analyser
les données.
Les étapes d’un projet
BI
03
Les étapes d’un projet BI
01
02
03
04
La collecte
des
données
La restitution
des données
L’intégration
des
données
L’analyse des
données
Architecture d’un projet BI
1. Collecte des données
>Compréhension des besoins : La collecte des données commence par une étape
de compréhension des besoins. Il est crucial de collaborer avec les parties prenantes et
les utilisateurs finaux pour comprendre leurs objectifs, leurs exigences et les questions
auxquelles ils cherchent à répondre
>Identification des sources de données : Une fois que les besoins ont été
identifiés, il est nécessaire de déterminer les sources de données pertinentes. Les
sources de données peuvent être variées, telles que des bases de données
transactionnelles, des fichiers plats, des applications métier, des médias sociaux, des
capteurs, etc
>Évaluation de la qualité des données : Avant d’intégrer les données, il est
essentiel d'évaluer leur qualité. Cela implique de vérifier la fiabilité, la précision et la
cohérence des données.
2. Intégration des données : ETL
Après l'extraction des
est souvent
données, il
nécessaire
transformer
rendre cohérentes
de les
pour
le
s
et
exploitables
Une fois que les données
sont transformées, elles
doivent être chargées
dans une base de
données ou un entrepôt
de données dédié
Une fois que les sources
de données sont
identifiées, il
faut
extraire les données de
ces sources.
E
0xtr
1act
Tr
0ans
2form
0Lo
3ad
3. Restitution des données
● Même s’il demande un fort engagement métier, un projet BI reste un projet de
développement (i.e : Analyse, Conception & Réalisation).
● La phase d’analyse est primordiale Souvent précédée d’une phase d’audit
● Le livrable est la modélisation d’un DataWarehouse C’est l’élément clé de la solution
Description des Faits (ce que j’analyse) et des Dimensions (sur quels axes)
Data WareHouse (DWH)
Data WareHouse = Entrepôt de données = Base de données décisionnelles
Définition – Bill Inmonn –
● Le Data Warehouse est une collection de données orientées sujet, intégrées, non volatiles
et historisées, organisées pour la prise de décision.
● C'est est une vision centralisée et universelle de toutes les informations de l'entreprise. C'est
une structure (comme une base de données) qui a pour but, contrairement aux bases de
données, de regrouper les données de l'entreprise pour des fins analytiques et pour aider
à la décision stratégique.
4. Analyse des données
ANALYSE
DES
DONNÉES
Prescriptive
Predictive
Diagnostique
Cognitive
Descriptive
Que?
Passé
Pourquoi?
Que?
Future
Comment?
Quel?
Action
Analyse des données
32
• On peut définir 5 types d’analyses répondant à 5 questions
- L'analyse descriptive aide à répondre au question que c'est-il passé, sur la base
de données historiques. Cette technique résume de grands ensembles de
données pour décrire les résultats aux parties prenantes. Ceci en développant
des KPI, permettent d’aider à suivre le succès ou l'échec des objectifs clés.
- L'analyse diagnostique aide à répondre au question pourquoi les choses se sont
produites. Cette technique complète l'analyse descriptive qui est plus basique.
Elle utilise les résultats de l'analyse descriptive et creuse plus profondément pour
trouver la cause. Les indicateurs de performance sont étudiés plus en détail pour
découvrir pourquoi ils se sont améliorés ou détériorés.
Analyse des données
33
- L'analyse prédictive aide à répondre au question que se va se passer dans le
futur. Cette technique utilise des données historiques pour identifier les
tendances et déterminer si elles sont susceptibles de se reproduire. Elle fournit
des informations précieuses sur ce qui pourrait se produire à l'avenir. L’analyse
prédictive comprend une variété de techniques statistiques et d'apprentissage
automatique telles que les réseaux de neurones, les arbres de décision et la
régression.
- L'analyse prescriptive aide à répondre au question quels actions à entreprendre
pour atteindre un objectif ou une cible. Cette technique permet aux entreprises
de prendre des décisions éclairées face à l'incertitude. Les techniques d'analyse
prescriptive s'appuient sur des stratégies d'apprentissage automatique pour
trouver des modèles dans de grands ensembles de données. En analysant les
décisions et les événements passés, la probabilité de résultats différents peut
être estimée.
Analyse des données
34
- L'analyse cognitive tente de tirer des conclusions à partir des données et des
modèles existants, de tirer des conclusions basées sur des bases de
connaissances existantes, puis d'ajouter ces résultats dans la base de
connaissances pour de futures inférences. L'analyse cognitive aide à savoir ce qui
pourrait arriver si les circonstances changent et comment gérer ces situations.
Processus BI
04
Processus décisionnel général
1 3
2 4
ANALYSE DE BESOIN
CONCEPTION ED
ALIMENTATION ED
ANALYSE DES DONNÉES
Schéma synoptique du BI
Data Mining
Sources de données
• Les Sources de données (ou bases de données opérationnelles),
assurent la sauvegarde et le traitement des données
nécessaires au fonctionnement quotidien d’une entreprise à
travers les applications transactionnelles OLTP
• Ces sources de données peuvent être
- internes (comme les bases de production d’une entreprise)
- externes (comme les bases de partenaires)
• Les sources de données peuvent être de nature hétérogène telle
que des fichiers, des bases de données relationnelles ou
objets…
ETL
Extraction des données
pertinentes à partir des
sources opérationnelles
EXTRACTION CHARGEMENT
Chargement de données,
extraites et transformées,
dans l’entrepôt de
données
1 3
2
TRANSFORMATION
Transformation des données
pour être adéquates avec le
format destination souhaité
ETL
DONNÉES STRUCTURÉS POUR L’ANALYSE
DONNÉES NON STRUCTURÉS POUR L’ANALYSE
Entrepôt de données (DW)
Un entrepôt de données est une collection de données orientées
sujet, intégrées, non volatiles, historisées, organisées pour le
support d’un processus d’aide à la décision
Entrepôt de données (DW)
• Magasin de données (Data Mart)
- Extrait de l’entrepôt
- Adapté à une classe de décideurs
- Recouvre une partie des données et problématiques
liées à un métier ou un sujet d'analyse en particulier
Entrepôt de données (DW)
• Le modèle multidimensionnel consiste à considérer un sujet
d’analyse comme un point dans un espace à
plusieurs dimensions
• La modélisation multidimensionnelle a donné naissance aux
concepts de fait et de dimension (Kimball, 2002)
Entrepôt de données (DW)
• Concept de fait:
- Sujet analysé
- Un
ensemble
d'attributs appelés mesures (informations
opérationnelles)
• Les ventes (chiffre d'affaire, quantités et
montants
commandés, volumes des ventes, ...)
• Les stocks (nombre d'exemplaires d'un produit en stock, ...)
Entrepôt de données (DW)
• Concept de dimension:
- Une dimension (ou axe d’analyse) modélise une perspective de
l’analyse
- Chaque dimension comporte un ou plusieurs attributs /
membres
- Chaque membre de la dimension a des caractéristiques
propres et généralement textuel
Entrepôt de données (DW)
• Concept de dimension:
- Hiérarchie :
• Les attributs/membres d'une dimension sont
organisés
suivant des hiérarchies
• Chaque paramètre appartient à un niveau hiérarchique (ou
niveau de granularité) particulier
Entrepôt de données (DW)
• Trois principaux modèles:
- Étoile
- Flocon de neige
- Constellation
Entrepôt de données (DW)
48
• Modèle en étoile
- Une table de fait centrale et des dimensions
• Un fait central
• n dimensions (n>=2)
- Les dimensions n’ont pas de liaison entre elles
Entrepôt de données (DW)
49
• Modèle en flocon de neige
- Dérivé du schéma en étoile
- Représenter la table dimension par plusieurs tables
- Le fait est conservé
- Les dimensions sont éclatées conformément à leurs
niveaux
d’hiérarchie
Entrepôt de données (DW)
50
• Modèle en constellation
en constellation
comprend des
dimensions (pas
forcément toutes
plusieurs faits qui
les
- Fusionner plusieurs modèles en étoile
- Un
modèle
partagent
dimensions
Méthode de Conception des DW
51
• Trois familles de méthodes:
- Ascendante ou guidée par la source de données
- Descendante ou guidée par les besoins des décideurs
- Mixte
Méthode de Conception des DW
• Méthode ascendante
• Concevoir un schéma conceptuel d’un ED à partir d’un diagramme
E/R:
- Étape 1 : Définition des faits
- Étape 2 : Construction de l’arbre des attributs
- Étape 3 : Suppression des attributs inutiles
- Étape 4 : Définition des dimensions et mesures
- Étape 5 : Définition des hiérarchies
52
Méthode de Conception des DW
53
Méthode ascendante
☺Se basent sur des représentations conceptuelles qui couvrent une
large étendue de besoins analytiques
☺Garantissent que le SI de l‘entreprise alimente les
besoins analytiques
☹Limitent la participation des utilisateurs dans la conception
☹Nécessitent une bonne connaissance des modèles des systèmes
d’information
Méthode de Conception des DW
54
Méthode Descendante
• Définir le schéma de l’entrepôt en fonction des besoins d’analyse
et supposent que les données disponibles permettront la mise
en œuvre d’un tel schéma:
- Étape1 : Collecte des données
- Étape2 : Spécification des besoins
- Étape3 : Formalisation des besoins
Méthode de Conception des DW
• Méthode Descendante
•☺Partent des besoins décisionnels
• ☺Permet d’aboutir à des modèles qui décrivent
convenablement les besoins des décideurs
•☹Nécessite une expertise au niveau de l’expression des besoins
•☹Risque de produire des modèles incohérents par rapport à la cible
• d’alimentation
55
Méthode de Conception des DW
56
Méthode Mixte
• Considère à la fois les besoins d’analyse et les données pour la
construction du schéma.
• Construire des schémas candidats à partir des données
(démarche ascendante) et de les confronter aux schémas
définis selon les besoins (démarche descendante)
- Étape 1 : Obtenir un ensemble de modèles multidimensionnels
à partir des sources de données
- Étape 2 : Affiner le modèle multidimensionnel par les
besoins des utilisateurs
Méthode de Conception des DW
57
Méthode Mixte
☺Combinent les méthodes ascendantes et descendantes
☺Elaborent le schéma conceptuel à partir du système opérationnel
et le valident par rapport aux besoins analytiques
☺Produisent des schémas qui répondent aux besoins exprimés par
les utilisateurs décisionnels
☹Nécessitent une double expertise au niveau des modèles des
systèmes opérationnels et au niveau de l’expression des besoins
analytiques.
Cube OLAP
58
• Le DW a une structure multidimensionnelle qui traite un sujet
d’analyse comme un cube à plusieurs dimensions, offrant
des vues en tranches ou des analyses selon différents axes.
• Son exploitation se fait par la technologie OLAP souvent appelée
« cube OLAP »
• Un cube OLAP est une base de données multidimensionnelle
optimisée pour les DW et les applications OLAP.
• Il s’agit d’une méthode permettant de stocker les données sous
forme multidimensionnelle, notamment pour le Reporting.
Data Mining
• Définition [Fayad et al. 96] : Le Data Mining est l’application d’algorithmes
efficaces qui identifient les motifs contenus dans une base de données
• Branche de la science des données qui recherche dans de vastes ensembles
de données, à la recherche de pépites de sagesse.
• Les différentes méthodes de fouille :
• Autres tâches : regression, détection d’outlier, etc.
Data Mining
• La classification divise les grands ensembles de données en catégories
spécifiques.
- Application : Segmentation, structuration d’un ensemble de documents
«web», déterminer des familles de protéines et des «super-familles»,
découvertes de communautés
• Le clustering amène la classification à un nouveau niveau, en détectant de
petites anomalies ou similitudes que les humains ne peuvent pas
les observer.
- Application : prédiction de la fonction d’une protéine, accorder un
crédit,
interpréter des images en astronomie, etc.
• La règle d’association révèle les relations entre les variables au fil
du temps.
- Application : mise en rayon, promotion, améliorer la structure d’un site
BI vs Data Mining
Caractéristique Data Minig BI
Objectif
Exploration et mise en forme des
données pour trouver des réponses
aux problématiques métiers
Interpréter et présenter les données
aux parties prenantes pour éclairer
les décisions fondées sur les données
Volume
Traite de petits ensembles de
données spécifiques pour une analyse
ciblée
Traite les bases de données
relationnelles pour suivre les mesures
au niveau de l'entreprise
Résultats
Ensembles de données uniques dans
un format de données utilisable
Tableaux de bord, graphiques,
diagrammes, rapports
Focusse Identification de nouveaux KPI
Démonstration de la progression des
KPI
BI vs Data Mining
• Bien que les définitions du BI et le Data Mining soient différentes, les deux
processus fonctionnent mieux lorsqu'ils sont utilisés en tandem.
• Le Data Mining peut être considérée comme le précurseur du BI. Lors de la
collecte, les données sont souvent brutes et non structurées, ce qui rend difficile
de tirer des conclusions. Le Data Mining décode ces ensembles de données
complexes et fournit une version plus propre à l'équipe d'informatique
décisionnelle pour en tirer des informations.
• Le Data Mining peut approfondir des ensembles de données plus petits. Cela
permet aux entreprises d'identifier la cause profonde d'une tendance spécifique et
d'utiliser le BI pour suggérer des méthodes pour en tirer parti. Les analystes
utilisent le Data Mining pour recueillir des informations spécifiques dans le format
dont ils ont besoin, puis effectuent un suivi avec des outils du BI pour déterminer
et présenter pourquoi l'information est importante.
• Les entreprises utilisent le Data Mining pour comprendre le « quoi » afin de
répondre dans le BI le « comment » et le « pourquoi ». Les entreprises qui
investissent à la fois dans des outils de BI et de Data Mining peuvent effectuer,
tester et interpréter rapidement des analyses sophistiquées.
Des SI opérationnels aux SI décisionnels
Des SI opérationnels aux SI décisionnels
• Pour pouvoir réaliser un projet BI il faut passer du OLTP vers OLAP
- L’OLTP (Online transaction processing) est un traitement transactionnel en ligne
qui sert à effectuer des modifications d’informations en temps réel.
- On le retrouve essentiellement dans des opérations commerciales comme les
opérations bancaires, ou l’achat de bien divers.
- L’objectif de l’utilisation d’un tel système est de pouvoir insérer, et interpréter
pour des besoins divers, les données de la base de données, en toute sécurité.
- Trouver les informations nécessaires à la prise de décision prend du temps.
- On doit Mettre en place un Système d’information décisionnel (OLAP :
Online Analytical Processing) un système en ligne qui répond à des requêtes
analytiques multidimensionnelles telles que le Reporting financier, les prévisions.
Des SI opérationnels aux SI décisionnels
BI : Les
outils
05
La chaîne décisionnelle simple d’un projet BI
COLLECTE
> SGBD (Oracle, MySQL)
> Fichiers Plats (Excel, CSV,...)
> Logiciels (ERP,CRM,...)
ETL
● Talend Data Integration
● Informatica PowerCenter
● Microsoft SQL Server Integration Services
● IBM InfoSphere DataStage
● Oracle Data Integrator (ODI)
● Pentaho DI
DWH
● Oracle Database
● Microsoft SQL Server
● IBM Db2
● SAP HANA
● Snowflake
Reporting
● Tableau
● Microsoft Power BI
● QlikView
● MicroStrategy
● Looker
● SAP Crystal Reports
● IBM Cognos Analytics
0
1
0
2
0
3
0
4
Cube OLAP
68
• L’architecture d’un cube OLAP est constituée de trois parties :
- La base de données : un support de données agrégées ou
résumées possédant une structure multidimensionnelle c’est-
à-dire basée sur un SGBD multidimensionnel ou relationnel.
- Le serveur OLAP : permet la gestion de la structure
multidimensionnelle dans le SGBD et la gestion d’accès aux
données de la part des utilisateurs.
- Le module client : permet à l’utilisateur de manipuler et
d’exploiter les données, permet aussi l’affichage des données
sous formes de graphiques ou de tableau.
Cube OLAP
69
• L’architecture du serveur OLAP qui est le noyau de son système peut être
distinguée de plusieurs manières :
- MOLAP : le Multidimensionnel OLAP stocke aussi bien les données que les
agrégats dans une structure multidimensionnelle entraînant la performance des
requêtes et la réduction des temps de réponse. L’inconvénient est que le
traitement de la partition est consommateur de ressources.
- ROLAP : le Relationnel OLAP stocke aussi bien les données que les agrégats dans
la base de données relationnelle source. Il est lent pour répondre aux requêtes.
Le traitement est cependant léger car moins de consommation de ressources.
- HOLAP : l’Hybride OLAP stocke les données dans la base relationnelle source et
les agrégats dans une structure multidimensionnelle. Il présente un compromis
entre MOLAP et ROLAP combinant les avantages des deux architectures. Les
temps de réponse dépendent des requêtes et des données à récupérer.
Cube OLAP
70
• Les outils OLAP utilisent des opérations particulières pour la navigation dans
les cubes :
- Pivot (Rotate) : sélectionne le pivot d’analyse en faisant tourner le cube
- Slice : extrait une tranche du cube, c’est-à-dire, un sous-ensemble des
valeurs du cube correspondant à une certaine valeur d’une des
dimensions non-découpées
- Dice : provient de l’application de l’opération slice sur plus d’une
dimension
- Drill-down : permetde détailler les données
en descendant le niveau hiérarchique d’une dimension
- Roll-up(drill-up) : permetd’agréger les données
en augmentant le niveau hiérarchique d’une dimension
Cube OLAP
71
• Exemple de cube:
Table Vente
Clien
t
Articl
e
Customerkey ProductKey DueDateKey SalesAmount
21768 310 20110110 3578,27
28389 346 20110110 3399,99
25863 346 20110110 3399,99
21768 600 20130426 539,99
25863 578 20130807 1214,85
25863 477 20130807 4,99
25863 479 20130807 8,99
25863 480 20130807 2,29
Cube OLAP
72
• Hiérarchie du cube :
Clien
t
Article
Clien
t
Article
Clien
t
Article
Clien
t
Article
Clien
t
Article
Clien
t
Article
Clien
t
Article
Clien
t
Article
Produit
1
Produit
2 Client 1 Client
2
Clien
t
Article
Dice
Cube OLAP
73
Produit 1 Produit 2 Produit 3 …
Client 1
Client 2
Client 3
…
Produit 1 Produit 2 Produit 3 …
Date 1
Date 2
Date 3
…
Catégorie 1 Catégorie 2 Catégorie 3 …
Client 1
Client 2
Client 3
…
Produit 2
Client 1
Client 2
Client 3
…
Rotate
Slice
(dim. Produit)
Roll-up
(dim. Produit)
Drill-down
(dim. Produit)
Note: Catégorie correspond à la catégorie d’un produit (hiérarchie de la dim.
Produit)
Cube OLAP
74
• Clause CUBE (SQL99):
Clien
t
Article
Clien
t
Article
Clien
t
Article
Clien
t
Article
SELECT Customerkey, ProductKey, sum(SalesAmount)
FROM InternetSales
GROUP BY CUBE (Customerkey, ProductKey)
Customerkey ProductKey
346
28389
28389
25863
25863
25863
25863
25863
25863
21768
21768
21768
578
480
479
477
346
600
310
600
578
480
479
477
346
310
SUM(SalesAmount)
3399,99
3399,99
1214,85
2,29
8,99
4,99
3399,99
4631,11
539,99
3578,27
4118,26
539,99
1214,85
2,29
8,99
4,99
6799,98
3578,27
12149,36
Cube OLAP
75
• Clause ROLLUP (SQL99):
SELECT Customerkey, ProductKey, sum(SalesAmount)
FROM InternetSales
GROUP BY ROLLUP (Customerkey, ProductKey)
Clien
t
Article
Clien
t
Article
Clien
t
Article
Customerkey ProductKey SUM(SalesAmount)
28389 346 3399,99
28389 3399,99
25863 578 1214,85
25863 480 2,29
25863 479 8,99
25863 477 4,99
25863 346 3399,99
25863 4631,11
21768 600 539,99
21768 310 3578,27
21768 4118,26
12149,36
Cube OLAP
76
• Clause GROUPING SETS (SQL99):
SELECT DueDateKey, Customerkey, ProductKey,
sum(SalesAmount)
FROM InternetSales
GROUP BY GROUPING SETS
((DueDateKey,Customerkey),
(DueDateKey,ProductKey))
DueDateKey Customerkey ProductKey SUM(salesamount)
20130807 25863 1231,12
20130807 578 1214,85
20130807 480 2,29
20130807 479 8,99
20130807 477 4,99
20130426 21768 539,99
20130426 600 539,99
20110110 28389 3399,99
20110110 25863 3399,99
20110110 21768 3578,27
20110110 346 6799,98
20110110 310 3578,27
SELECT DueDateKey, Customerkey, ProductKey,
sum(SalesAmount)
FROM InternetSales
GROUP BY GROUPING SETS
((DueDateKey,Customerk
ey),
(DueDateKey,ProductKey
),())
DueDateKey Customerkey ProductKey SUM(salesamount)
20130807 25863 1231,12
20130807 578 1214,85
20130807 480 2,29
20130807 479 8,99
20130807 477 4,99
20130426 21768 539,99
20130426 600 539,99
20110110 28389 3399,99
20110110 25863 3399,99
20110110 21768 3578,27
20110110 346 6799,98
20110110 310 3578,27
12149,36
Cube OLAP
77
• Exemple de cube
implémenté sous
SSAS
MDX
78
• Langage de requête conçu pour rechercher et manipuler l'information dans
les cubes OLAP;
• Proposé par Microsoft en 1997 dans leur BD OLE ;
• Standardisé dans la norme XML Analytique (XMLA);
• Employé dans différents produits:
- Microsoft SQL Server;
- SAP Netweaver BI;
- Hyperion Essbase;
- SAS OLAP Server;
- etc.
• Attention: Ne pas confondre avec SQL, même si certains
éléments syntaxiques sont similaires.
MDX
79
• Syntaxe générale d’une requête MDX :
SELECT [< spécification d ’un axe>
[ , < spécification d ’un axe > . . . ] ]
FROM [< spécification d ’un cube >]
[WHERE [< spécification d ’un filtre ( slicer ) > ] ]
• Parenthèses en MDX :
- { } : Ensemble des éléments servant à la création d’une dimension du résultat de
la requête
- ( ) : Sélection de tuples dans la clause WHERE
- [ ] : Représentation d’espaces, de caractères spéciaux et d’interprétation non
numérique de chiffres.
• NB: [ ] : optionnels, sauf si le nom contient des caractères espace, des chiffres, ou
est un mot-clé MDX
MDX
80
• Exemple : Cette requête renvoie un jeu de résultats comprenant les
montants des ventes pour 2003 et 2002 de magasins dans l'État
de Californie.
SELECT { [Measures].[Store Sales] } ON COLUMNS,
{ [Date].[2002], [Date].[2003] } ON ROWS
FROM Sales
WHERE ( [Store].[USA].[CA] )
• La clause SELECT définit les axes de la requête.
• Ce sont le montant des ventes en magasin (Store Sales Amount) ainsi que
les dates 2002 et 2003.
• La clause FROM indique que la requête utilise le cube "Sales" comme source
de données.
• La clause WHERE définit le membre "California" de la dimension "Store" en
tant qu'axe de transition.
SQL Server BI
81
SQL Server BI
82
• SQL Server Integration Services (SSIS)
- SSIS est un composant du logiciel de base de données Microsoft SQL Server qui
peut être utilisé pour exécuter un large éventail de tâches de migration de
données. SSIS est un outil d'entreposage de données rapide et flexible utilisé
pour l'extraction, le chargement et la transformation de données (nettoyage,
agrégation, fusion de données, …).
- Il facilite le déplacement des données d'une base de données vers une autre.
SSIS peut extraire des données d'une grande variété de sources comme les
bases de données SQL Server, les fichiers Excel, les bases de données Oracle et
DB2, etc.
- SSIS comprend également des outils graphiques et des assistants pour effectuer
des fonctions de flux de travail comme l'envoi d'e-mails, les opérations FTP, les
sources de données et les destinations.
SQL Server BI
• Voici les principales raisons d'utiliser l'outil SSIS:
- Il aide à fusionner les données de divers sources de données.
- IL automatise les fonctions administratives et le chargement des données.
- Il remplit Data Marts & Data Warehouses.
- Il vous aide à nettoyer et standardiser les données.
- Il aide à intégrer la BI dans un processus de transformation des données.
- Il contient une interface graphique qui aide les utilisateurs à
transformer facilement les données plutôt que d'écrire de gros programmes.
- Il peut charger des millions de lignes d'une source de données à une autre en
quelques minutes.
- Il permet l'identification, capture et traitement des modifications de données.
- Il permet la coordination de la maintenance, du traitement ou de l'analyse des
données.
- IL offre une gestion robuste des erreurs et des événements. 61
SQL Server BI
84
• les composants de l'architecture SSIS
- Flux de contrôle (stocke les conteneurs et les tâches)
- Flux de données (source, destination, transformations)
- Gestionnaire d'événements (envoi de messages, e-mails)
- Explorateur de packages (offre une vue unique pour tous dans le package)
- Paramètres (interaction avec l'utilisateur)
- Gestionnaire des connexions
SQL Server BI
85
• SQL Server Analysis Services ( SSAS)
- Le service d'analyse SQL Server (SSAS) est un serveur OLAP multidimensionnel
ainsi qu'un moteur d'analyse qui vous permet de découper de gros volumes de
données.
- Il fait partie de Microsoft SQL Server et permet d'effectuer une analyse à l'aide
de différentes dimensions.
- Il a 2 variantes multidimensionnelles et tabulaires.
- La vue architecturale de SSAS est basée sur une architecture à trois niveaux, qui
se compose de:
- SGBDR : Les données de différentes sources comme Excel, base de données,
texte, d'autres peuvent être extraites à l'aide de l'outil ETL dans le SGBDR.
- SSAS : Les données agrégées du SGBDR sont transférées dans des cubes
SSAS à l'aide de projets de services d'analyse. Les cubes créeront une base de données
d'analyse et une fois que la base de données d'analyse sera prête, elle pourra être utilisée à
de nombreuses fins.
- Client : Les clients peuvent accéder aux données à l'aide de tableaux de bord.
SQL Server BI
86
• SQL Server Reporting Services (SSRS)
- SSRS est un logiciel de génération de rapports qui vous permet de produire des
rapports formatés avec des tableaux sous forme de données, de graphiques et
d'images. Ces rapports sont hébergés sur un serveur qui peut être exécuté à
tout moment à l'aide de paramètres définis par les utilisateurs. Il fait partie de la
suite Microsoft SQL Server Services.
- Trois types de services de rapport SSRS sont:
- Services d'intégration Microsoft SQL Server qui intègrent des données
provenant de différentes sources.
- Service analytique Microsoft SQL Server qui aide à l'analyse des données
- Le service Microsoft SQL Server Reporting permet de générer un rapport
visuel des données.
SQL Server BI
87
• SSRS est un outil amélioré par rapport à Crystal Reports.
• Quelques avantages du SSRS :
- Un Traitement plus rapide des rapports sur les données
relationnelles et multidimensionnelles.
- Un mécanisme de prise de décision meilleur et plus précis pour les utilisateurs.
- Une interaction des utilisateurs avec les informations sans
impliquer les
professionnelles de l'informatique.
- Un déploiement de rapports relativement facile car il fournit une connexion
internet et donc les rapport sont accessibles sur internet.
- Une certaine flexibilité du partage des rapports dans différents formats. On peut
envoyer des rapports SSRS par e-mail.
- Une multitude de fonctionnalités de sécurité, qui aident à contrôler les accès au
rapport.
SQL Server BI
88
• Comment fonctionne SSRS?
- Les utilisateurs du rapport sont les personnes qui travaillent avec les données et
souhaitent obtenir des informations à partir des données.
- Ils envoient une requête au serveur SSRS
- Le serveur SSRS trouve les métadonnées du rapport et envoie une demande de
données aux sources de données.
- Les données renvoyées par la source de données sont fusionnées
avec la
définition de rapport dans un rapport.
- Lorsque le rapport est généré, il est renvoyé au client.
SQL Server BI
89
POURQUOI
UNE
PLATEFORME
SQL SERVER BI
COÛT
FONCTIONS
ANALYTIQUES
AVANCÉES IN-
DATABASE
ECOSYSTÈME
MICROSOFT
UNE BI MOBILE
DE BOUT EN
BOUT SUR TOUS
LES APPAREILS
HAUTE
PERFORMANCE
Power BI
90
• Microsoft Power BI est un ensemble de services logiciels, d'applications et de
connecteurs qui fonctionnent ensemble pour transformer vos données
en informations interactives.
Power BI
91
• Il vise à fournir des visualisations interactives et des
de business intelligence avec
une
suffisamment simple
pour que les
capacités
interface
utilisateurs finaux puissent créer leurs propres
rapports et tableaux de bord.
Power BI
92
Power BI
93
• La préparation des données est le processus qui consiste à prendre des données brutes et à les
transformer en informations fiables et compréhensibles. Il s'agit, entre autres, de s'assurer de
l'intégrité des données, de corriger des données erronées ou inexactes, d'identifier des données
manquantes, de convertir des données d'une structure à une autre ou d'un type à un autre.
• La modélisation des données est le processus qui consiste à déterminer comment les tables sont
liées les unes aux autres. Cela se fait en définissant et en créant des relations entre les tables. À
partir de là, on peut améliorer le modèle en définissant des métriques et en ajoutant des calculs
personnalisés pour enrichir les données.
• L'objectif de la visualisation est de résoudre les problèmes de l'entreprise. Cette tâche permet de
donner vie aux données. Un rapport bien conçu doit raconter une histoire convaincante et
percutante sur ces données, permettant aux décideurs d'obtenir rapidement les informations
nécessaires. En utilisant des visualisations et des interactions appropriées, un rapport efficace guide
le lecteur à travers le contenu rapidement et efficacement, permettant au lecteur de suivre un récit
dans les données.
• La tâche d'analyse est une étape importante pour la compréhension et l'interprétation des
informations affichées sur le rapport.
• Il existe de nombreux composants dans Power BI, notamment des rapports, des tableaux de bord,
des espaces de travail, des jeux de données, etc. La gestion du contenu contribue à favoriser la
collaboration entre les équipes et les individus.
Power BI
94
Power BI
95
• Power BI se compose de trois éléments principaux qui fonctionnent ensemble pour vous permettre
de créer, d'interagir avec, de partager et de consommer vos données comme vous le souhaitez.
- Power BI Desktop : Version autonome “Standalone” du produit Microsoft Business Intelligence
- Créer des modèles relationnels afin de réunir les données de différentes sources de données
- Faire des calculs complexes en utilisant le langage DAX ( Data Analysis Expressions)
- Visualiser les données et créer des tableaux de bords interactifs
- Power BI Service : Une plateforme cloud de partage et de consultation des tableaux de bords
- Publication et partage des rapports via l’application ou des sites web.
- Analyse et visualisation plus approfondie des données
- Programmation de mises à jour périodiques
- Création d’alertes sur l’évolution de certaines données
- Power BI mobile : Une application mobile pour tous les appareils
- Consultez et affichez en toute sécurité les rapports et tableaux de bord Power
BI en temps réel sur l’appareil de votre choix, avec des applications natives et mobiles BI
pour Windows, iOS et Android
Power BI
96
Par utilisateur
Power BI Pro Power BI Premium
Par utilisateur Par capacité
8,40 €
Par utilisateur/mois
- Réaliser des analyses modernes en
libre-service.
- Visualiser des données à l’aide de
tableaux de bord et de rapports en
direct.
- Partager les informations dans toute
l’organisation.
16,90 €
Par utilisateur/mois
- Accélérer rapidement à des
insights fournis par l’IA avancée
- Débloquer la préparation des
données en libre-service pour les
Big Data
- Simplifier la gestion et l’accès aux
données à l’échelle de l’entreprise.
à partir de 4 212,30 €
Par capacité/mois
- Simplifier la gestion et l’accès aux
données à l’échelle de l’entreprise,
sans licence par utilisateur pour les
consommateurs de contenu.
Power BI
97
Fonctionnalité Power BI Pro Power BI Premium
Par utilisateur
Power BI Premium
Par capacité
Collaboration et analyse
Accès aux applications mobiles X X X
Publication de rapports à partager et collaboration X X
Rapports paginés (RDL) X X
Consommation du contenu sans licence par utilisateur X
Création locale de rapports Power BI Report Server X
Préparation, modélisation et visualisation des données
Limite de taille des modèles 1 Go 100 Go 400 Go
Fréquence d’actualisation 8/jour 48/jour 48/jour
Connexion à plus de 100 sources de données X X X
Créez des rapports et des visualisations avec Power BI Desktop X X X
Intégration d’API et de contrôles X X X
Visuels par IA X X X
IA avancée (analyse de texte, détection d’image, Machine Learning
automatisé)
X X
Connectivité en lecture/écriture du point de terminaison XMLA X X
Dataflows (requête directe, entités liées et calculées, moteur de calcul
amélioré)
X X
Gouvernance et administration
Sécurité et chiffrement des données X X X
Mesures pour la création, la consommation et la publication de contenu X X X
Gestion du cycle de vie des applications X X
Gestion du déploiement dans plusieurs zones géographiques X
Bring Your Own Key (BYOK) X
Disponibilité du module complémentaire de mise à l’échelle
automatique
X
Stockage maximal 10 Go/utilisateur 100 To 100 To
Cube Tabulaire
98
• Dans Analysis Services, les modèles tabulaires sont des bases de données qui
s’exécutent en mémoire ou en mode DirectQuery, en se connectant
aux données à partir de sources de données relationnelles principales.
• En utilisant des algorithmes de compression de pointe et un processeur de
requêtes multithread, le moteur d’analyse Analysis Services (VertiPaq)
offre un accès rapide aux objets de modèle tabulaire et aux données en
reportant des applications clientes telles que Power BI et Excel.
• Les tables s’organisent d’une manière équivalent aux bases de données
relationnelles.
Cube Tabulaire
99
Dimensions
Fait
• L’avantage d’un modèle tabulaire est qu’il est beaucoup moins dépaysant car son interface ressemble
beaucoup à Excel et repose sur le langage M et le langage DAX.
Cube Tabulaire
100
MULTIDIMENSIONNEL VS TABULAIRE
• Approche différente pour le stockage/analyse/exposition des données DWH.
• Ces deux modèles ont le même objectif : fournir une couche sémantique au-
dessus de votre entrepôt de données avec des capacités de
haute performance qui permettent aux utilisateurs finaux d'explorer les
données.
• Les deux produits sont différents avec deux approches de
conception
totalement
totalement différentes et des architectures de données
différentes
Cube Tabulaire
101
MULTIDIMENSIONNEL VS TABULAIRE
Multidimensionnel Tabulaire
Données pré-agrégées sur disque Technologie de calcul In-Memory ( X-Velocity
engine )
Supporte une très grande quantité de données
( 5TB+ )
Supporte une grande quantité de données (<5TB)
Row-Based storage Column-Based storage
Taux de compression 3X Taux de compression 10X
Marche seulement avec les modèles à
Fait/Dimensions
Marche avec tout type de structure de données
MDX DAX
Multidimensionnel Tabulaire
Pros
•Technologie mature
•Technologie évolutive capable de
gérer un très grand volume de
données
•Capable de faire face aux exigences
avancées de modélisation / calcul
•Plus performant dans la majorité des cas
•Plus facile à développer
•La technologie pour l’avenir
•Intégration avec Power Pivot ( Excel/PBI )
Cons
•Difficile à construire/utiliser/maintenir
•Aucune innovation majeure à attendre
dans ce produit à l’avenir
•Complexité supérieure à celle du
Tabulaire
•Relativement nouveau produit donc encore
des améliorations à venir
•Limité à la RAM disponible (= projet de
taille moyenne)
•Il manque quelques calculs avancés
disponibles
Cube Tabulaire
102
MULTIDIMENSIONNEL VS TABULAIRE
Position de DAX dans l’outil Power BI
103
Source de données
• CSV
• Bases
• Excel
Extraction des
données utiles
• Transformation
• Jointures, Fusion
Modélisation des
données
• Cardinalité, sens
• Mesures et
colonnes calculées,
Jointures
Présentation des
données et diffusion
• Visuels menus
et dataflows
• Gestion des
droits
Power
Query
Power
BI
Modèle
de
données
BI
Service
DAX
M
Langage M
• Le langage M (M pour Mash-up) est une solution ETL (Extracting,
Transforming, Loading) utilisée par Power Query (Excel et Power BI).
Le langage M est utilisé pour:
- (E) automatiser le processus d’exportation de données de différentes
sources et d’importation dans Excel ou Power BI
- (T) transformer les données ainsi importées afin qu’elles
puissent convenir aux besoins d’analyse
- (L) charger ces données dans une ou des tables,
qui seront éventuellement utilisées par un modèle de données
• M est un langage de programmation structuré, étape par étape. Ses
transformations permettent de créer, filtrer et combiner des données
de sources très différentes. Pour en savoir plus : https://radacad.com/basics-of-m-
power- query-formula-language
82
Langage M
105
• Penser en M est sensible à la casse et complexe :
= let
x = 1,
y = 2,
z = x + y in
x + y + z
Commentaire M: « // » sur une seule ligne ou combiné comme ci-dessous avec
une étoile en multiligne de commentaires
/*
Commentaire ligne 1
Commentaire ligne 2
*/
« Let » permet de lancer un calcul M et de le placer dans un résultat « in »
Il faut une virgule à la fin de chaque ligne d’étape sauf la dernière avant « in »
#table( {"A", "B"}, { {1, 2}, {3, 4} } ) peut se coller dans l’éditeur avancé pour créer une table
Langage M
106
• Il permet de nettoyer les données avant les calculs
- Supprimer des lignes, supprimer ou remplacer les erreurs
- Recopier vers le bas les sources mal structurées (tableau croisé XL)
- Fort dans les transformations de texte : Remplacer des caractères ligne
à ligne, et changer les formats
- Nettoyer les données : text.Proper (Retourne le résultat de la mise en
majuscules de la première lettre uniquement de chaque
mot dans la valeur de texte), text.Upper (passage en
majuscule), Text.Clean (caractères non imprimables)
- Supprimer les doublons : Table.Distinct (fonction native du ruban)
- Remplacer les erreurs : Table.ReplaceErrorValues (idem)
Langage DAX
107
• DAX (Data Analysis Expression) est un langage de formules utilisé
outils de Business Intelligence et de visuels
dans les
• C'est un langage de fonctions : le code est tenu à l'intérieur de la
fonction. Il y a plus de 250 fonctions
• C'est à l’origine le langage de SSAS 2012 Tabulaire et de Power Pivot
(Excel) : un moyen d’aggréger
• Penser en DAX réclame une nouvelle attitude
- Quand on vient d'Excel, on doit oublier ses réflexes de formules
- Prérequis : On doit penser à un bon modèle de donnée avant tout DAX
Langage DAX
108
• Accès Desktop : Rapport -> Clic droit
sur la table -> Nouvelle
Mesure (mesure rapide ou
colonne)
• On écrit directement
nomdelamesure := formule
• Exemple : Coût moyen
Coût moyen :=average ('Table_tâches'[Coût])
Fonction Syntaxe de la
fonction
‘nomdelatable’
[nomdecolonne]
Langage DAX
109
• NOM DE LA MESURE=
- Saisie du début de la formule (insensible à la casse) -> aide au choix
- Si ontape « ‘ » on va chercher directement les tables
sinon c’est
alphabétique (idem pour « [ » et les mesures ou colonnes)
- Entrer : permet de valider un morceau de la syntaxe : table, etc…
- Séparateur est présenté : ici virgule pour version
internationale, versus point virgule en FR pur et dur
En bleu : expression
et mesure
Langage DAX
110
• Les agrégats simples
SUM
AVERAGE MAX
MIN COUNTROWS
DISTINCTCOUNT…
• Les agrégats d’expression
SUMX
AVERAGEX
MAXX
MINX
COUNTX…
Exemples d’agrégats
Langage DAX
111
• Principe
- L’utilisateur filtre sur une dimension ou +
- Tous les calculs reposent sur des
données filtrées sur ces dimensions, même
si chaque ligne est liée à une autre dimension
- Grosse différence avec les formules XL
- Le contexte de filtre vient de :
- Segment
- Filtre du panneau de Filtre (visuel,
page)
- Sélection d’un item d’un visuel
- Extraction (Drill down)
- Hiérarchie
rapport,
- Donne l’intelligence et le dynamisme
• Exemple : SUM
Contexte de filtre
Langage DAX
112
• Principe
- C’est la ligne « courante »
- Le contexte de ligne vient de :
- chaque ligne de la table
- Un calcul
- C’est utilisé notamment par toutes les fonctions itératives (SUMX)
- car elles parcourent ligne à ligne pour donner le calcul (l’expression) lié à la
ligne
- Il ne faut pas
- Créer une colonne SUM, car cela ignore le
uniquement
contexte de ligne, il faut en faire une mesure
- C’est utilisé aussi avec les nouvelles colonnes calculées
Contexte de Ligne
• Exemple : SUMX
Marge=
SUMX(Dim_Produits, ([Prix unitaire]-[Coût
unitaire]) * [Qté])
Marge=
([Prix unitaire] - [Coût unitaire] ) *
[Qté]
Langage DAX
113
Les mesures Les colonnes
•Globales à l’ensemble des tables
•Fait pour les calculs d’agrégation
•Utilisent très bien le contexte de ligne ou de filtre
•Universelles : Différentes des formules Excel
•Peuvent être regroupées dans une table
spécifique ou placées sur une table de fait ou de
dimension
•Mesures sont calculées au moment de la requête
et non stockée (sauf si préparées dans Dataware
House ou SSAS)
•Ne prend pas de place sur le volume de données
chargé
•Le calcul se fait sur demande du visuel , La
•Dépendante d’une table
•Idéal pour des dates, ou du texte
•Doivent varier d’une ligne à l’autre (sinon redondance
de
la donnée)
•Proches des formules Excel
•Rattachées à la table dont elles précisent l’objet
•Indispensable sur des fonctions de date basiques
(#semaine)
•Les colonnes sont calculées au moment du refresh :
impact sur le temps de mise à jour
•IMPACT le temps de refresh et sur la RAM
•Stockée dans les tables
MESURE VS COLONNE
Langage DAX
114
• Table toute simple de dimension TEMPS
• But : manipuler les périodes
• Outils de table – Nouvelle table
ici table en dur
– Calendrier = CALENDAR
(DATE(2011,1,1), DATE(2021,12,31))
• Outils de table – Marquer comme table
de date
– But : faire fonctionner les visuels et les
formules de temps correctement
• Formatter la date en date
pour se débarrasser des heures
• Autre Table
• Table de date relative
CalendrierRelatif = CALENDAR (DATE(2011,1,1),
NOW()+365)
• Power BI récupère et met en forme les
noms et valeurs de colonnes selon la langue
du modèle. Si la table est du DAX, ou de la
dimension temps Time Inteligence, elle
pourra s’afficher selon la langue de
l’utilisateur. Si c’est du M ou du SQL sans
Time Intelligence, il n’y aura aucune
conversion en langue locale.
Créer une table de temps
Qu’est-ce qu’une table de date ? Une table de date est une
table dédiée qui contient un unique enregistrement pour
chaque jour entre deux dates. Cette table peut inclure tout
attribut utile à l’utilisateur : l’année, le mois, la semaine, le fait
que le jour soit férié ou pas.
Langage DAX
115
YTD
• Est relatif à une année : c’est le cumul à date pour le contexte d’une année
• Exemple
- CumulAnnuelàDate_MandatsC =
TOTALYTD(SUM('FACT_COD_MANDATS'[nb_mandats_c]),DIMENSION_TEMPS[Date])
Langage DAX
116
Calculate
• Utiliser CALCULATE quand on a besoin de changer le contexte de filtre
CALCULATE(<expression>,<filter1>,<filter2>…)
• Exemple :
- La définition de mesure pour la table Sales suivante produit un résultat
sous
forme de chiffre d’affaires, mais uniquement pour les produits bleus
Blue Revenue =
CALCULATE( SUM(Sales[Sales Amount]), 'Product'[Color] =
"Blue")
Conclusion
B
I
KP
I
BIG DATA
Data
Mart
OLA
P
Cube I
A
Les annexes
 Intelligence Artificielle (AI)
• Référence aux outils modernes utilisant l’IA.
 Wikipédia
• Définition et concepts de base de la BI et de l’IA.
 Polytechnique de Sousse
• Contribution académique et exemples de projets.
 Source complémentaire :
 Documentation Microsoft Power BI :
https://docs.microsoft.com/power-bi
 Outils de l'IA en BI : Exemples d'IA en BI
Remerciements
Chers participants,
Je tiens à vous remercier chaleureusement pour votre participation active et votre
engagement tout au long de cette formation. Vos échanges enrichissants et votre
implication ont largement contribué à la réussite de ces journées d'apprentissage.
J’espère que les compétences acquises vous seront bénéfiques dans vos projets
futurs et vous aideront à relever de nouveaux défis.
N’hésitez pas à me contacter pour toute question, demande d’accompagnement
ou pour approfondir certains aspects abordés durant cette session.
Formateur :
M. Mouhamed Anouar Farsi
Email : mouhamed.anouar@gmail.com / mouhamed_anouar@live.fr
Téléphone : +216 54000546 / +216 93232423

784572849-Cours- Desktop BI-Support.pptx

  • 1.
    Business Intelligence Un processustechnologique pour une prise de décision efficace
  • 2.
    Agile SCRUM 2jours =12 heures 17/12/2024 Mouhame d Anouar FARSI
  • 3.
  • 4.
  • 5.
    Contexte • Toutes lesentreprises accumulent de grandes quantités de données au travers de leurs systèmes d’informations. - Données opérationnelles (de production) réparties sur plusieurs systèmes (bases de données relationnelles , Fichiers, …) - Distribuées : systèmes dispersés - Hétérogènes : systèmes et structures de données différents - Détaillées : organisation de données selon les processus fonctionnels - Peu/pas adaptées à l’analyse : des requêtes lourdes peuvent bloquer le système transactionnel - Volatiles : pas d’historisation systématique, données fréquemment modifiées • Ces données ne deviennent des informations pertinentes pour les décideurs que lorsqu’elles permettent de répondre à des questions sur la rentabilité de l’entreprise et sur son évolution.
  • 6.
  • 7.
    Pourquoi la prisede décision est si difficile? Processus de la décision humaine : Je suis en train de transpirer: ● s'il fait chaud dehors==> c'est normal ==> je vais me mettre au frais ● s'il ne fait pas chaud==> j'ai de la fièvre ==> je vais chez le médecin Processus de la décision dans une entreprise : > Evaluer un chiffre par rapport à un objectif spécifique. > Surveiller le progrès d'un indicateur au fil du temps. > Agréger des données provenant de divers systèmes pour obtenir une information à valeur ajoutée. une information isolée possède peu de valeur, elle n'aura de sens que comparée à d'autres informations
  • 8.
    Contexte • Exemple: - Uncatalogue de produits sera conçu pour permettre de trouver facilement un produit en fonction de caractéristiques précises, de faire des mises à jour rapides et fiables, de gérer des stocks... Mais un décideur souhaitera : - connaître l'organisation des produits selon certaines caractéristiques et regroupements qui ne sont pas forcément pris en considération dans la gestion quotidienne; - croiser le catalogue des produits avec les transactions des ventes...
  • 9.
    Contexte • Pour êtreaidés dans leurs choix, les décideurs ont besoin de mesurer l’activité de l’entreprise à l’aide d’indicateurs de performance. • Il est donc nécessaire de transformer la masse de données en provenance des multiples sources opérationnelles en informations pertinentes pour la prise de décision. • On développe des analyses de performances à partir de données transformées à destinations de chef des ventes, de manager sur le terrain. Business intelligence (BI)
  • 10.
  • 11.
    Qu'est-ce que leBusiness intelligence (BI)? Business Intelligence Le BI est un ensemble de moyens, méthodes, outils permettant de collecter, consolider, modéliser, restituer les données d’une entreprise, en vue d’offrir une aide à la décision
  • 12.
    Business Intelligence :Définitions 1. BI : “Terme générique qui englobe les applications, l'infrastructure, les outils et les meilleures pratiques permettant l'accès et l'analyse de l'information afin d'améliorer et d'optimiser les décisions et les performances.” Howard Dresner 2. BI : “Un ensemble de stratégies et de technologies utilisées par les entreprises pour l'analyse des données d'informations commerciales.” Wikipedia 3. BI : “Un processus axé sur la technologie pour analyser les données et fournir des informations exploitables qui aident les cadres, les gestionnaires et les travailleurs à prendre des décisions commerciales éclairées”. TechTarget
  • 13.
    Evolution de l’informatiquedans les entreprises Informatique Décisionnelle (BI) Informatique opérationnelle décentralisée Informatique opérationnelle centralisée Informatique de Gestion Années 2000 Années 90 Années 80 Années 70
  • 14.
    Qu'est-ce que leBusiness intelligence (BI)? • Domaines d’utilisation de la BI : - Finance, avec le Reporting financiers et budgétaires. - Vente et commercial, avec l’analyse des points de vente, l’analyse de la profitabilité. - Marketing, avec la segmentation clients, les analyses comportementales. - Logistique, avec l’optimisation de la gestion de stock, le suivi des livraisons. - Ressources humaines, avec l’optimisation de l’allocation des ressources.
  • 15.
    Qu'est-ce que leBusiness intelligence (BI)? • La problématique du BI porte sur des questions de genre: - Comment se portent les ventes ? - Quels sont les produits qui se vendent le mieux ? - Mes employés sont-ils efficaces ? - Quels sont mes points de vente qui rapportent le plus à ma société ? • Pour répondre à ces questions, il faut collecter les données à partir des applications métiers tel que ERP ,CRM, SAP etc... et stocker les généralement dans ce que l'on appelle un entrepôt de données. • L'Objectif de la BI est d'analyser le passé et d'anticiper le futur.  Pour y arriver , Il faut exploiter les données et mettre en place un suivi de la performance grâce à des indicateurs de performance [en anglais : KPI =Key Performance Indicators].
  • 16.
  • 17.
    Les objectifs d’unprocessus BI Analyse concurrentiell e Collaboration et partage des information Prise de décision éclairée Amélioration de la performance financière Planification et prévisions Suivi des indicateurs clés de performance Objectif s
  • 18.
    (a) Qualité desdonnées : Les données doivent être exactes, complètes, cohérentes et fiables pour garantir des résultats précis et pertinents (b) Intégration des données : L'enjeu consiste à intégrer ces données provenant de diverses sources, telles que les bases de données, les fichiers plats, les applications cloud, etc. (c) Confidentialité des données : Le BI implique la manipulation et l'analyse de données sensibles et stratégiques pour une entreprise Les enjeux d’un processus BI
  • 19.
    (d) Scalabilité etperformance : Le volume de données utilisées dans les initiatives de BI peut être très important, ce qui pose des défis en termes de scalabilité et de performance. (e) Évolution technologique : Le domaine du BI est en constante évolution, avec de nouvelles technologies, des tendances émergentes et des innovations constantes. (f) Complexité des données : Les données utilisées dans le cadre du BI peuvent être complexes et variées. Les enjeux d’un process BI
  • 20.
    Les rôles dansle BI • Initialement, les outils BI étaient principalement utilisés par les analystes de données et les professionnels informatiques qui se chargeaient d’analyser les données et de produire des rapports. • Aujourd’hui, de plus en plus les exécutifs et les employés utilisent eux-mêmes les logiciels BI, notamment grâce à l’essor du self-service BI et des outils de découverte de données. Non-Informaticien Informaticien
  • 21.
    Les rôles dansle BI • Pour réussir l’analyse de données, Microsoft décrit 5 rôles dans le BI - Un administrateur de base de données surveille et gère la santé globale d'une base de données et du matériel sur lequel elle réside - Les scientifiques des données effectuent des analyses avancées pour extraire la valeur des données - Les principales responsabilités des ingénieurs de données incluent l'utilisation des services et des outils de données sur site et dans le cloud pour ingérer, sortir et transformer des données provenant de plusieurs sources. - Les analystes de données sont responsables du profilage, du nettoyage et de la transformation des données, de la conception et de la création de modèles de données évolutifs et performants, ainsi que de l'activation et de la mise en œuvre des capacités d'analyse avancées dans les rapports d'analyse. - Un analyste commercial est le plus proche de l'entreprise elle-même et est un spécialiste de l'interprétation des données issues de la visualisation
  • 22.
    Les indicateurs deperformance (KPI) • Instrument d’analyse à la fois illustratif, représentatif, significatif, permettant de mesurer l’atteinte des objectifs. • Indicateurs d’efficacité • Indicateurs de capacité • Indicateurs de productivité • Indicateurs de qualité • Indicateurs de rentabilité • Ils sont définis à partir de ce que l'on appelle les business drivers
  • 23.
    Les indicateurs deperformance (KPI) • Les Business drivers sont des pilotes de croissance qui vont permettre l'amélioration des performances. Il en existe 3 types: - Stratégique exemples : part de marché , la force concurrentielle, etc. - Organisationnel exemples : formation , développement, etc. - Opérationnel exemples: productivité , excellence des produits, etc. • Le driver le plus commun est la rentabilité. • Pour créer ces KPI et les rapports détaillant ces KPI il faut analyser les données.
  • 24.
    Les étapes d’unprojet BI 03
  • 25.
    Les étapes d’unprojet BI 01 02 03 04 La collecte des données La restitution des données L’intégration des données L’analyse des données
  • 26.
  • 27.
    1. Collecte desdonnées >Compréhension des besoins : La collecte des données commence par une étape de compréhension des besoins. Il est crucial de collaborer avec les parties prenantes et les utilisateurs finaux pour comprendre leurs objectifs, leurs exigences et les questions auxquelles ils cherchent à répondre >Identification des sources de données : Une fois que les besoins ont été identifiés, il est nécessaire de déterminer les sources de données pertinentes. Les sources de données peuvent être variées, telles que des bases de données transactionnelles, des fichiers plats, des applications métier, des médias sociaux, des capteurs, etc >Évaluation de la qualité des données : Avant d’intégrer les données, il est essentiel d'évaluer leur qualité. Cela implique de vérifier la fiabilité, la précision et la cohérence des données.
  • 28.
    2. Intégration desdonnées : ETL Après l'extraction des est souvent données, il nécessaire transformer rendre cohérentes de les pour le s et exploitables Une fois que les données sont transformées, elles doivent être chargées dans une base de données ou un entrepôt de données dédié Une fois que les sources de données sont identifiées, il faut extraire les données de ces sources. E 0xtr 1act Tr 0ans 2form 0Lo 3ad
  • 29.
    3. Restitution desdonnées ● Même s’il demande un fort engagement métier, un projet BI reste un projet de développement (i.e : Analyse, Conception & Réalisation). ● La phase d’analyse est primordiale Souvent précédée d’une phase d’audit ● Le livrable est la modélisation d’un DataWarehouse C’est l’élément clé de la solution Description des Faits (ce que j’analyse) et des Dimensions (sur quels axes)
  • 30.
    Data WareHouse (DWH) DataWareHouse = Entrepôt de données = Base de données décisionnelles Définition – Bill Inmonn – ● Le Data Warehouse est une collection de données orientées sujet, intégrées, non volatiles et historisées, organisées pour la prise de décision. ● C'est est une vision centralisée et universelle de toutes les informations de l'entreprise. C'est une structure (comme une base de données) qui a pour but, contrairement aux bases de données, de regrouper les données de l'entreprise pour des fins analytiques et pour aider à la décision stratégique.
  • 31.
    4. Analyse desdonnées ANALYSE DES DONNÉES Prescriptive Predictive Diagnostique Cognitive Descriptive Que? Passé Pourquoi? Que? Future Comment? Quel? Action
  • 32.
    Analyse des données 32 •On peut définir 5 types d’analyses répondant à 5 questions - L'analyse descriptive aide à répondre au question que c'est-il passé, sur la base de données historiques. Cette technique résume de grands ensembles de données pour décrire les résultats aux parties prenantes. Ceci en développant des KPI, permettent d’aider à suivre le succès ou l'échec des objectifs clés. - L'analyse diagnostique aide à répondre au question pourquoi les choses se sont produites. Cette technique complète l'analyse descriptive qui est plus basique. Elle utilise les résultats de l'analyse descriptive et creuse plus profondément pour trouver la cause. Les indicateurs de performance sont étudiés plus en détail pour découvrir pourquoi ils se sont améliorés ou détériorés.
  • 33.
    Analyse des données 33 -L'analyse prédictive aide à répondre au question que se va se passer dans le futur. Cette technique utilise des données historiques pour identifier les tendances et déterminer si elles sont susceptibles de se reproduire. Elle fournit des informations précieuses sur ce qui pourrait se produire à l'avenir. L’analyse prédictive comprend une variété de techniques statistiques et d'apprentissage automatique telles que les réseaux de neurones, les arbres de décision et la régression. - L'analyse prescriptive aide à répondre au question quels actions à entreprendre pour atteindre un objectif ou une cible. Cette technique permet aux entreprises de prendre des décisions éclairées face à l'incertitude. Les techniques d'analyse prescriptive s'appuient sur des stratégies d'apprentissage automatique pour trouver des modèles dans de grands ensembles de données. En analysant les décisions et les événements passés, la probabilité de résultats différents peut être estimée.
  • 34.
    Analyse des données 34 -L'analyse cognitive tente de tirer des conclusions à partir des données et des modèles existants, de tirer des conclusions basées sur des bases de connaissances existantes, puis d'ajouter ces résultats dans la base de connaissances pour de futures inférences. L'analyse cognitive aide à savoir ce qui pourrait arriver si les circonstances changent et comment gérer ces situations.
  • 35.
  • 36.
    Processus décisionnel général 13 2 4 ANALYSE DE BESOIN CONCEPTION ED ALIMENTATION ED ANALYSE DES DONNÉES
  • 37.
    Schéma synoptique duBI Data Mining
  • 38.
    Sources de données •Les Sources de données (ou bases de données opérationnelles), assurent la sauvegarde et le traitement des données nécessaires au fonctionnement quotidien d’une entreprise à travers les applications transactionnelles OLTP • Ces sources de données peuvent être - internes (comme les bases de production d’une entreprise) - externes (comme les bases de partenaires) • Les sources de données peuvent être de nature hétérogène telle que des fichiers, des bases de données relationnelles ou objets…
  • 39.
    ETL Extraction des données pertinentesà partir des sources opérationnelles EXTRACTION CHARGEMENT Chargement de données, extraites et transformées, dans l’entrepôt de données 1 3 2 TRANSFORMATION Transformation des données pour être adéquates avec le format destination souhaité
  • 40.
    ETL DONNÉES STRUCTURÉS POURL’ANALYSE DONNÉES NON STRUCTURÉS POUR L’ANALYSE
  • 41.
    Entrepôt de données(DW) Un entrepôt de données est une collection de données orientées sujet, intégrées, non volatiles, historisées, organisées pour le support d’un processus d’aide à la décision
  • 42.
    Entrepôt de données(DW) • Magasin de données (Data Mart) - Extrait de l’entrepôt - Adapté à une classe de décideurs - Recouvre une partie des données et problématiques liées à un métier ou un sujet d'analyse en particulier
  • 43.
    Entrepôt de données(DW) • Le modèle multidimensionnel consiste à considérer un sujet d’analyse comme un point dans un espace à plusieurs dimensions • La modélisation multidimensionnelle a donné naissance aux concepts de fait et de dimension (Kimball, 2002)
  • 44.
    Entrepôt de données(DW) • Concept de fait: - Sujet analysé - Un ensemble d'attributs appelés mesures (informations opérationnelles) • Les ventes (chiffre d'affaire, quantités et montants commandés, volumes des ventes, ...) • Les stocks (nombre d'exemplaires d'un produit en stock, ...)
  • 45.
    Entrepôt de données(DW) • Concept de dimension: - Une dimension (ou axe d’analyse) modélise une perspective de l’analyse - Chaque dimension comporte un ou plusieurs attributs / membres - Chaque membre de la dimension a des caractéristiques propres et généralement textuel
  • 46.
    Entrepôt de données(DW) • Concept de dimension: - Hiérarchie : • Les attributs/membres d'une dimension sont organisés suivant des hiérarchies • Chaque paramètre appartient à un niveau hiérarchique (ou niveau de granularité) particulier
  • 47.
    Entrepôt de données(DW) • Trois principaux modèles: - Étoile - Flocon de neige - Constellation
  • 48.
    Entrepôt de données(DW) 48 • Modèle en étoile - Une table de fait centrale et des dimensions • Un fait central • n dimensions (n>=2) - Les dimensions n’ont pas de liaison entre elles
  • 49.
    Entrepôt de données(DW) 49 • Modèle en flocon de neige - Dérivé du schéma en étoile - Représenter la table dimension par plusieurs tables - Le fait est conservé - Les dimensions sont éclatées conformément à leurs niveaux d’hiérarchie
  • 50.
    Entrepôt de données(DW) 50 • Modèle en constellation en constellation comprend des dimensions (pas forcément toutes plusieurs faits qui les - Fusionner plusieurs modèles en étoile - Un modèle partagent dimensions
  • 51.
    Méthode de Conceptiondes DW 51 • Trois familles de méthodes: - Ascendante ou guidée par la source de données - Descendante ou guidée par les besoins des décideurs - Mixte
  • 52.
    Méthode de Conceptiondes DW • Méthode ascendante • Concevoir un schéma conceptuel d’un ED à partir d’un diagramme E/R: - Étape 1 : Définition des faits - Étape 2 : Construction de l’arbre des attributs - Étape 3 : Suppression des attributs inutiles - Étape 4 : Définition des dimensions et mesures - Étape 5 : Définition des hiérarchies 52
  • 53.
    Méthode de Conceptiondes DW 53 Méthode ascendante ☺Se basent sur des représentations conceptuelles qui couvrent une large étendue de besoins analytiques ☺Garantissent que le SI de l‘entreprise alimente les besoins analytiques ☹Limitent la participation des utilisateurs dans la conception ☹Nécessitent une bonne connaissance des modèles des systèmes d’information
  • 54.
    Méthode de Conceptiondes DW 54 Méthode Descendante • Définir le schéma de l’entrepôt en fonction des besoins d’analyse et supposent que les données disponibles permettront la mise en œuvre d’un tel schéma: - Étape1 : Collecte des données - Étape2 : Spécification des besoins - Étape3 : Formalisation des besoins
  • 55.
    Méthode de Conceptiondes DW • Méthode Descendante •☺Partent des besoins décisionnels • ☺Permet d’aboutir à des modèles qui décrivent convenablement les besoins des décideurs •☹Nécessite une expertise au niveau de l’expression des besoins •☹Risque de produire des modèles incohérents par rapport à la cible • d’alimentation 55
  • 56.
    Méthode de Conceptiondes DW 56 Méthode Mixte • Considère à la fois les besoins d’analyse et les données pour la construction du schéma. • Construire des schémas candidats à partir des données (démarche ascendante) et de les confronter aux schémas définis selon les besoins (démarche descendante) - Étape 1 : Obtenir un ensemble de modèles multidimensionnels à partir des sources de données - Étape 2 : Affiner le modèle multidimensionnel par les besoins des utilisateurs
  • 57.
    Méthode de Conceptiondes DW 57 Méthode Mixte ☺Combinent les méthodes ascendantes et descendantes ☺Elaborent le schéma conceptuel à partir du système opérationnel et le valident par rapport aux besoins analytiques ☺Produisent des schémas qui répondent aux besoins exprimés par les utilisateurs décisionnels ☹Nécessitent une double expertise au niveau des modèles des systèmes opérationnels et au niveau de l’expression des besoins analytiques.
  • 58.
    Cube OLAP 58 • LeDW a une structure multidimensionnelle qui traite un sujet d’analyse comme un cube à plusieurs dimensions, offrant des vues en tranches ou des analyses selon différents axes. • Son exploitation se fait par la technologie OLAP souvent appelée « cube OLAP » • Un cube OLAP est une base de données multidimensionnelle optimisée pour les DW et les applications OLAP. • Il s’agit d’une méthode permettant de stocker les données sous forme multidimensionnelle, notamment pour le Reporting.
  • 59.
    Data Mining • Définition[Fayad et al. 96] : Le Data Mining est l’application d’algorithmes efficaces qui identifient les motifs contenus dans une base de données • Branche de la science des données qui recherche dans de vastes ensembles de données, à la recherche de pépites de sagesse. • Les différentes méthodes de fouille : • Autres tâches : regression, détection d’outlier, etc.
  • 60.
    Data Mining • Laclassification divise les grands ensembles de données en catégories spécifiques. - Application : Segmentation, structuration d’un ensemble de documents «web», déterminer des familles de protéines et des «super-familles», découvertes de communautés • Le clustering amène la classification à un nouveau niveau, en détectant de petites anomalies ou similitudes que les humains ne peuvent pas les observer. - Application : prédiction de la fonction d’une protéine, accorder un crédit, interpréter des images en astronomie, etc. • La règle d’association révèle les relations entre les variables au fil du temps. - Application : mise en rayon, promotion, améliorer la structure d’un site
  • 61.
    BI vs DataMining Caractéristique Data Minig BI Objectif Exploration et mise en forme des données pour trouver des réponses aux problématiques métiers Interpréter et présenter les données aux parties prenantes pour éclairer les décisions fondées sur les données Volume Traite de petits ensembles de données spécifiques pour une analyse ciblée Traite les bases de données relationnelles pour suivre les mesures au niveau de l'entreprise Résultats Ensembles de données uniques dans un format de données utilisable Tableaux de bord, graphiques, diagrammes, rapports Focusse Identification de nouveaux KPI Démonstration de la progression des KPI
  • 62.
    BI vs DataMining • Bien que les définitions du BI et le Data Mining soient différentes, les deux processus fonctionnent mieux lorsqu'ils sont utilisés en tandem. • Le Data Mining peut être considérée comme le précurseur du BI. Lors de la collecte, les données sont souvent brutes et non structurées, ce qui rend difficile de tirer des conclusions. Le Data Mining décode ces ensembles de données complexes et fournit une version plus propre à l'équipe d'informatique décisionnelle pour en tirer des informations. • Le Data Mining peut approfondir des ensembles de données plus petits. Cela permet aux entreprises d'identifier la cause profonde d'une tendance spécifique et d'utiliser le BI pour suggérer des méthodes pour en tirer parti. Les analystes utilisent le Data Mining pour recueillir des informations spécifiques dans le format dont ils ont besoin, puis effectuent un suivi avec des outils du BI pour déterminer et présenter pourquoi l'information est importante. • Les entreprises utilisent le Data Mining pour comprendre le « quoi » afin de répondre dans le BI le « comment » et le « pourquoi ». Les entreprises qui investissent à la fois dans des outils de BI et de Data Mining peuvent effectuer, tester et interpréter rapidement des analyses sophistiquées.
  • 63.
    Des SI opérationnelsaux SI décisionnels
  • 64.
    Des SI opérationnelsaux SI décisionnels • Pour pouvoir réaliser un projet BI il faut passer du OLTP vers OLAP - L’OLTP (Online transaction processing) est un traitement transactionnel en ligne qui sert à effectuer des modifications d’informations en temps réel. - On le retrouve essentiellement dans des opérations commerciales comme les opérations bancaires, ou l’achat de bien divers. - L’objectif de l’utilisation d’un tel système est de pouvoir insérer, et interpréter pour des besoins divers, les données de la base de données, en toute sécurité. - Trouver les informations nécessaires à la prise de décision prend du temps. - On doit Mettre en place un Système d’information décisionnel (OLAP : Online Analytical Processing) un système en ligne qui répond à des requêtes analytiques multidimensionnelles telles que le Reporting financier, les prévisions.
  • 65.
    Des SI opérationnelsaux SI décisionnels
  • 66.
  • 67.
    La chaîne décisionnellesimple d’un projet BI COLLECTE > SGBD (Oracle, MySQL) > Fichiers Plats (Excel, CSV,...) > Logiciels (ERP,CRM,...) ETL ● Talend Data Integration ● Informatica PowerCenter ● Microsoft SQL Server Integration Services ● IBM InfoSphere DataStage ● Oracle Data Integrator (ODI) ● Pentaho DI DWH ● Oracle Database ● Microsoft SQL Server ● IBM Db2 ● SAP HANA ● Snowflake Reporting ● Tableau ● Microsoft Power BI ● QlikView ● MicroStrategy ● Looker ● SAP Crystal Reports ● IBM Cognos Analytics 0 1 0 2 0 3 0 4
  • 68.
    Cube OLAP 68 • L’architectured’un cube OLAP est constituée de trois parties : - La base de données : un support de données agrégées ou résumées possédant une structure multidimensionnelle c’est- à-dire basée sur un SGBD multidimensionnel ou relationnel. - Le serveur OLAP : permet la gestion de la structure multidimensionnelle dans le SGBD et la gestion d’accès aux données de la part des utilisateurs. - Le module client : permet à l’utilisateur de manipuler et d’exploiter les données, permet aussi l’affichage des données sous formes de graphiques ou de tableau.
  • 69.
    Cube OLAP 69 • L’architecturedu serveur OLAP qui est le noyau de son système peut être distinguée de plusieurs manières : - MOLAP : le Multidimensionnel OLAP stocke aussi bien les données que les agrégats dans une structure multidimensionnelle entraînant la performance des requêtes et la réduction des temps de réponse. L’inconvénient est que le traitement de la partition est consommateur de ressources. - ROLAP : le Relationnel OLAP stocke aussi bien les données que les agrégats dans la base de données relationnelle source. Il est lent pour répondre aux requêtes. Le traitement est cependant léger car moins de consommation de ressources. - HOLAP : l’Hybride OLAP stocke les données dans la base relationnelle source et les agrégats dans une structure multidimensionnelle. Il présente un compromis entre MOLAP et ROLAP combinant les avantages des deux architectures. Les temps de réponse dépendent des requêtes et des données à récupérer.
  • 70.
    Cube OLAP 70 • Lesoutils OLAP utilisent des opérations particulières pour la navigation dans les cubes : - Pivot (Rotate) : sélectionne le pivot d’analyse en faisant tourner le cube - Slice : extrait une tranche du cube, c’est-à-dire, un sous-ensemble des valeurs du cube correspondant à une certaine valeur d’une des dimensions non-découpées - Dice : provient de l’application de l’opération slice sur plus d’une dimension - Drill-down : permetde détailler les données en descendant le niveau hiérarchique d’une dimension - Roll-up(drill-up) : permetd’agréger les données en augmentant le niveau hiérarchique d’une dimension
  • 71.
    Cube OLAP 71 • Exemplede cube: Table Vente Clien t Articl e Customerkey ProductKey DueDateKey SalesAmount 21768 310 20110110 3578,27 28389 346 20110110 3399,99 25863 346 20110110 3399,99 21768 600 20130426 539,99 25863 578 20130807 1214,85 25863 477 20130807 4,99 25863 479 20130807 8,99 25863 480 20130807 2,29
  • 72.
    Cube OLAP 72 • Hiérarchiedu cube : Clien t Article Clien t Article Clien t Article Clien t Article Clien t Article Clien t Article Clien t Article Clien t Article Produit 1 Produit 2 Client 1 Client 2 Clien t Article Dice
  • 73.
    Cube OLAP 73 Produit 1Produit 2 Produit 3 … Client 1 Client 2 Client 3 … Produit 1 Produit 2 Produit 3 … Date 1 Date 2 Date 3 … Catégorie 1 Catégorie 2 Catégorie 3 … Client 1 Client 2 Client 3 … Produit 2 Client 1 Client 2 Client 3 … Rotate Slice (dim. Produit) Roll-up (dim. Produit) Drill-down (dim. Produit) Note: Catégorie correspond à la catégorie d’un produit (hiérarchie de la dim. Produit)
  • 74.
    Cube OLAP 74 • ClauseCUBE (SQL99): Clien t Article Clien t Article Clien t Article Clien t Article SELECT Customerkey, ProductKey, sum(SalesAmount) FROM InternetSales GROUP BY CUBE (Customerkey, ProductKey) Customerkey ProductKey 346 28389 28389 25863 25863 25863 25863 25863 25863 21768 21768 21768 578 480 479 477 346 600 310 600 578 480 479 477 346 310 SUM(SalesAmount) 3399,99 3399,99 1214,85 2,29 8,99 4,99 3399,99 4631,11 539,99 3578,27 4118,26 539,99 1214,85 2,29 8,99 4,99 6799,98 3578,27 12149,36
  • 75.
    Cube OLAP 75 • ClauseROLLUP (SQL99): SELECT Customerkey, ProductKey, sum(SalesAmount) FROM InternetSales GROUP BY ROLLUP (Customerkey, ProductKey) Clien t Article Clien t Article Clien t Article Customerkey ProductKey SUM(SalesAmount) 28389 346 3399,99 28389 3399,99 25863 578 1214,85 25863 480 2,29 25863 479 8,99 25863 477 4,99 25863 346 3399,99 25863 4631,11 21768 600 539,99 21768 310 3578,27 21768 4118,26 12149,36
  • 76.
    Cube OLAP 76 • ClauseGROUPING SETS (SQL99): SELECT DueDateKey, Customerkey, ProductKey, sum(SalesAmount) FROM InternetSales GROUP BY GROUPING SETS ((DueDateKey,Customerkey), (DueDateKey,ProductKey)) DueDateKey Customerkey ProductKey SUM(salesamount) 20130807 25863 1231,12 20130807 578 1214,85 20130807 480 2,29 20130807 479 8,99 20130807 477 4,99 20130426 21768 539,99 20130426 600 539,99 20110110 28389 3399,99 20110110 25863 3399,99 20110110 21768 3578,27 20110110 346 6799,98 20110110 310 3578,27 SELECT DueDateKey, Customerkey, ProductKey, sum(SalesAmount) FROM InternetSales GROUP BY GROUPING SETS ((DueDateKey,Customerk ey), (DueDateKey,ProductKey ),()) DueDateKey Customerkey ProductKey SUM(salesamount) 20130807 25863 1231,12 20130807 578 1214,85 20130807 480 2,29 20130807 479 8,99 20130807 477 4,99 20130426 21768 539,99 20130426 600 539,99 20110110 28389 3399,99 20110110 25863 3399,99 20110110 21768 3578,27 20110110 346 6799,98 20110110 310 3578,27 12149,36
  • 77.
    Cube OLAP 77 • Exemplede cube implémenté sous SSAS
  • 78.
    MDX 78 • Langage derequête conçu pour rechercher et manipuler l'information dans les cubes OLAP; • Proposé par Microsoft en 1997 dans leur BD OLE ; • Standardisé dans la norme XML Analytique (XMLA); • Employé dans différents produits: - Microsoft SQL Server; - SAP Netweaver BI; - Hyperion Essbase; - SAS OLAP Server; - etc. • Attention: Ne pas confondre avec SQL, même si certains éléments syntaxiques sont similaires.
  • 79.
    MDX 79 • Syntaxe généraled’une requête MDX : SELECT [< spécification d ’un axe> [ , < spécification d ’un axe > . . . ] ] FROM [< spécification d ’un cube >] [WHERE [< spécification d ’un filtre ( slicer ) > ] ] • Parenthèses en MDX : - { } : Ensemble des éléments servant à la création d’une dimension du résultat de la requête - ( ) : Sélection de tuples dans la clause WHERE - [ ] : Représentation d’espaces, de caractères spéciaux et d’interprétation non numérique de chiffres. • NB: [ ] : optionnels, sauf si le nom contient des caractères espace, des chiffres, ou est un mot-clé MDX
  • 80.
    MDX 80 • Exemple :Cette requête renvoie un jeu de résultats comprenant les montants des ventes pour 2003 et 2002 de magasins dans l'État de Californie. SELECT { [Measures].[Store Sales] } ON COLUMNS, { [Date].[2002], [Date].[2003] } ON ROWS FROM Sales WHERE ( [Store].[USA].[CA] ) • La clause SELECT définit les axes de la requête. • Ce sont le montant des ventes en magasin (Store Sales Amount) ainsi que les dates 2002 et 2003. • La clause FROM indique que la requête utilise le cube "Sales" comme source de données. • La clause WHERE définit le membre "California" de la dimension "Store" en tant qu'axe de transition.
  • 81.
  • 82.
    SQL Server BI 82 •SQL Server Integration Services (SSIS) - SSIS est un composant du logiciel de base de données Microsoft SQL Server qui peut être utilisé pour exécuter un large éventail de tâches de migration de données. SSIS est un outil d'entreposage de données rapide et flexible utilisé pour l'extraction, le chargement et la transformation de données (nettoyage, agrégation, fusion de données, …). - Il facilite le déplacement des données d'une base de données vers une autre. SSIS peut extraire des données d'une grande variété de sources comme les bases de données SQL Server, les fichiers Excel, les bases de données Oracle et DB2, etc. - SSIS comprend également des outils graphiques et des assistants pour effectuer des fonctions de flux de travail comme l'envoi d'e-mails, les opérations FTP, les sources de données et les destinations.
  • 83.
    SQL Server BI •Voici les principales raisons d'utiliser l'outil SSIS: - Il aide à fusionner les données de divers sources de données. - IL automatise les fonctions administratives et le chargement des données. - Il remplit Data Marts & Data Warehouses. - Il vous aide à nettoyer et standardiser les données. - Il aide à intégrer la BI dans un processus de transformation des données. - Il contient une interface graphique qui aide les utilisateurs à transformer facilement les données plutôt que d'écrire de gros programmes. - Il peut charger des millions de lignes d'une source de données à une autre en quelques minutes. - Il permet l'identification, capture et traitement des modifications de données. - Il permet la coordination de la maintenance, du traitement ou de l'analyse des données. - IL offre une gestion robuste des erreurs et des événements. 61
  • 84.
    SQL Server BI 84 •les composants de l'architecture SSIS - Flux de contrôle (stocke les conteneurs et les tâches) - Flux de données (source, destination, transformations) - Gestionnaire d'événements (envoi de messages, e-mails) - Explorateur de packages (offre une vue unique pour tous dans le package) - Paramètres (interaction avec l'utilisateur) - Gestionnaire des connexions
  • 85.
    SQL Server BI 85 •SQL Server Analysis Services ( SSAS) - Le service d'analyse SQL Server (SSAS) est un serveur OLAP multidimensionnel ainsi qu'un moteur d'analyse qui vous permet de découper de gros volumes de données. - Il fait partie de Microsoft SQL Server et permet d'effectuer une analyse à l'aide de différentes dimensions. - Il a 2 variantes multidimensionnelles et tabulaires. - La vue architecturale de SSAS est basée sur une architecture à trois niveaux, qui se compose de: - SGBDR : Les données de différentes sources comme Excel, base de données, texte, d'autres peuvent être extraites à l'aide de l'outil ETL dans le SGBDR. - SSAS : Les données agrégées du SGBDR sont transférées dans des cubes SSAS à l'aide de projets de services d'analyse. Les cubes créeront une base de données d'analyse et une fois que la base de données d'analyse sera prête, elle pourra être utilisée à de nombreuses fins. - Client : Les clients peuvent accéder aux données à l'aide de tableaux de bord.
  • 86.
    SQL Server BI 86 •SQL Server Reporting Services (SSRS) - SSRS est un logiciel de génération de rapports qui vous permet de produire des rapports formatés avec des tableaux sous forme de données, de graphiques et d'images. Ces rapports sont hébergés sur un serveur qui peut être exécuté à tout moment à l'aide de paramètres définis par les utilisateurs. Il fait partie de la suite Microsoft SQL Server Services. - Trois types de services de rapport SSRS sont: - Services d'intégration Microsoft SQL Server qui intègrent des données provenant de différentes sources. - Service analytique Microsoft SQL Server qui aide à l'analyse des données - Le service Microsoft SQL Server Reporting permet de générer un rapport visuel des données.
  • 87.
    SQL Server BI 87 •SSRS est un outil amélioré par rapport à Crystal Reports. • Quelques avantages du SSRS : - Un Traitement plus rapide des rapports sur les données relationnelles et multidimensionnelles. - Un mécanisme de prise de décision meilleur et plus précis pour les utilisateurs. - Une interaction des utilisateurs avec les informations sans impliquer les professionnelles de l'informatique. - Un déploiement de rapports relativement facile car il fournit une connexion internet et donc les rapport sont accessibles sur internet. - Une certaine flexibilité du partage des rapports dans différents formats. On peut envoyer des rapports SSRS par e-mail. - Une multitude de fonctionnalités de sécurité, qui aident à contrôler les accès au rapport.
  • 88.
    SQL Server BI 88 •Comment fonctionne SSRS? - Les utilisateurs du rapport sont les personnes qui travaillent avec les données et souhaitent obtenir des informations à partir des données. - Ils envoient une requête au serveur SSRS - Le serveur SSRS trouve les métadonnées du rapport et envoie une demande de données aux sources de données. - Les données renvoyées par la source de données sont fusionnées avec la définition de rapport dans un rapport. - Lorsque le rapport est généré, il est renvoyé au client.
  • 89.
    SQL Server BI 89 POURQUOI UNE PLATEFORME SQLSERVER BI COÛT FONCTIONS ANALYTIQUES AVANCÉES IN- DATABASE ECOSYSTÈME MICROSOFT UNE BI MOBILE DE BOUT EN BOUT SUR TOUS LES APPAREILS HAUTE PERFORMANCE
  • 90.
    Power BI 90 • MicrosoftPower BI est un ensemble de services logiciels, d'applications et de connecteurs qui fonctionnent ensemble pour transformer vos données en informations interactives.
  • 91.
    Power BI 91 • Ilvise à fournir des visualisations interactives et des de business intelligence avec une suffisamment simple pour que les capacités interface utilisateurs finaux puissent créer leurs propres rapports et tableaux de bord.
  • 92.
  • 93.
    Power BI 93 • Lapréparation des données est le processus qui consiste à prendre des données brutes et à les transformer en informations fiables et compréhensibles. Il s'agit, entre autres, de s'assurer de l'intégrité des données, de corriger des données erronées ou inexactes, d'identifier des données manquantes, de convertir des données d'une structure à une autre ou d'un type à un autre. • La modélisation des données est le processus qui consiste à déterminer comment les tables sont liées les unes aux autres. Cela se fait en définissant et en créant des relations entre les tables. À partir de là, on peut améliorer le modèle en définissant des métriques et en ajoutant des calculs personnalisés pour enrichir les données. • L'objectif de la visualisation est de résoudre les problèmes de l'entreprise. Cette tâche permet de donner vie aux données. Un rapport bien conçu doit raconter une histoire convaincante et percutante sur ces données, permettant aux décideurs d'obtenir rapidement les informations nécessaires. En utilisant des visualisations et des interactions appropriées, un rapport efficace guide le lecteur à travers le contenu rapidement et efficacement, permettant au lecteur de suivre un récit dans les données. • La tâche d'analyse est une étape importante pour la compréhension et l'interprétation des informations affichées sur le rapport. • Il existe de nombreux composants dans Power BI, notamment des rapports, des tableaux de bord, des espaces de travail, des jeux de données, etc. La gestion du contenu contribue à favoriser la collaboration entre les équipes et les individus.
  • 94.
  • 95.
    Power BI 95 • PowerBI se compose de trois éléments principaux qui fonctionnent ensemble pour vous permettre de créer, d'interagir avec, de partager et de consommer vos données comme vous le souhaitez. - Power BI Desktop : Version autonome “Standalone” du produit Microsoft Business Intelligence - Créer des modèles relationnels afin de réunir les données de différentes sources de données - Faire des calculs complexes en utilisant le langage DAX ( Data Analysis Expressions) - Visualiser les données et créer des tableaux de bords interactifs - Power BI Service : Une plateforme cloud de partage et de consultation des tableaux de bords - Publication et partage des rapports via l’application ou des sites web. - Analyse et visualisation plus approfondie des données - Programmation de mises à jour périodiques - Création d’alertes sur l’évolution de certaines données - Power BI mobile : Une application mobile pour tous les appareils - Consultez et affichez en toute sécurité les rapports et tableaux de bord Power BI en temps réel sur l’appareil de votre choix, avec des applications natives et mobiles BI pour Windows, iOS et Android
  • 96.
    Power BI 96 Par utilisateur PowerBI Pro Power BI Premium Par utilisateur Par capacité 8,40 € Par utilisateur/mois - Réaliser des analyses modernes en libre-service. - Visualiser des données à l’aide de tableaux de bord et de rapports en direct. - Partager les informations dans toute l’organisation. 16,90 € Par utilisateur/mois - Accélérer rapidement à des insights fournis par l’IA avancée - Débloquer la préparation des données en libre-service pour les Big Data - Simplifier la gestion et l’accès aux données à l’échelle de l’entreprise. à partir de 4 212,30 € Par capacité/mois - Simplifier la gestion et l’accès aux données à l’échelle de l’entreprise, sans licence par utilisateur pour les consommateurs de contenu.
  • 97.
    Power BI 97 Fonctionnalité PowerBI Pro Power BI Premium Par utilisateur Power BI Premium Par capacité Collaboration et analyse Accès aux applications mobiles X X X Publication de rapports à partager et collaboration X X Rapports paginés (RDL) X X Consommation du contenu sans licence par utilisateur X Création locale de rapports Power BI Report Server X Préparation, modélisation et visualisation des données Limite de taille des modèles 1 Go 100 Go 400 Go Fréquence d’actualisation 8/jour 48/jour 48/jour Connexion à plus de 100 sources de données X X X Créez des rapports et des visualisations avec Power BI Desktop X X X Intégration d’API et de contrôles X X X Visuels par IA X X X IA avancée (analyse de texte, détection d’image, Machine Learning automatisé) X X Connectivité en lecture/écriture du point de terminaison XMLA X X Dataflows (requête directe, entités liées et calculées, moteur de calcul amélioré) X X Gouvernance et administration Sécurité et chiffrement des données X X X Mesures pour la création, la consommation et la publication de contenu X X X Gestion du cycle de vie des applications X X Gestion du déploiement dans plusieurs zones géographiques X Bring Your Own Key (BYOK) X Disponibilité du module complémentaire de mise à l’échelle automatique X Stockage maximal 10 Go/utilisateur 100 To 100 To
  • 98.
    Cube Tabulaire 98 • DansAnalysis Services, les modèles tabulaires sont des bases de données qui s’exécutent en mémoire ou en mode DirectQuery, en se connectant aux données à partir de sources de données relationnelles principales. • En utilisant des algorithmes de compression de pointe et un processeur de requêtes multithread, le moteur d’analyse Analysis Services (VertiPaq) offre un accès rapide aux objets de modèle tabulaire et aux données en reportant des applications clientes telles que Power BI et Excel. • Les tables s’organisent d’une manière équivalent aux bases de données relationnelles.
  • 99.
    Cube Tabulaire 99 Dimensions Fait • L’avantaged’un modèle tabulaire est qu’il est beaucoup moins dépaysant car son interface ressemble beaucoup à Excel et repose sur le langage M et le langage DAX.
  • 100.
    Cube Tabulaire 100 MULTIDIMENSIONNEL VSTABULAIRE • Approche différente pour le stockage/analyse/exposition des données DWH. • Ces deux modèles ont le même objectif : fournir une couche sémantique au- dessus de votre entrepôt de données avec des capacités de haute performance qui permettent aux utilisateurs finaux d'explorer les données. • Les deux produits sont différents avec deux approches de conception totalement totalement différentes et des architectures de données différentes
  • 101.
    Cube Tabulaire 101 MULTIDIMENSIONNEL VSTABULAIRE Multidimensionnel Tabulaire Données pré-agrégées sur disque Technologie de calcul In-Memory ( X-Velocity engine ) Supporte une très grande quantité de données ( 5TB+ ) Supporte une grande quantité de données (<5TB) Row-Based storage Column-Based storage Taux de compression 3X Taux de compression 10X Marche seulement avec les modèles à Fait/Dimensions Marche avec tout type de structure de données MDX DAX
  • 102.
    Multidimensionnel Tabulaire Pros •Technologie mature •Technologieévolutive capable de gérer un très grand volume de données •Capable de faire face aux exigences avancées de modélisation / calcul •Plus performant dans la majorité des cas •Plus facile à développer •La technologie pour l’avenir •Intégration avec Power Pivot ( Excel/PBI ) Cons •Difficile à construire/utiliser/maintenir •Aucune innovation majeure à attendre dans ce produit à l’avenir •Complexité supérieure à celle du Tabulaire •Relativement nouveau produit donc encore des améliorations à venir •Limité à la RAM disponible (= projet de taille moyenne) •Il manque quelques calculs avancés disponibles Cube Tabulaire 102 MULTIDIMENSIONNEL VS TABULAIRE
  • 103.
    Position de DAXdans l’outil Power BI 103 Source de données • CSV • Bases • Excel Extraction des données utiles • Transformation • Jointures, Fusion Modélisation des données • Cardinalité, sens • Mesures et colonnes calculées, Jointures Présentation des données et diffusion • Visuels menus et dataflows • Gestion des droits Power Query Power BI Modèle de données BI Service DAX M
  • 104.
    Langage M • Lelangage M (M pour Mash-up) est une solution ETL (Extracting, Transforming, Loading) utilisée par Power Query (Excel et Power BI). Le langage M est utilisé pour: - (E) automatiser le processus d’exportation de données de différentes sources et d’importation dans Excel ou Power BI - (T) transformer les données ainsi importées afin qu’elles puissent convenir aux besoins d’analyse - (L) charger ces données dans une ou des tables, qui seront éventuellement utilisées par un modèle de données • M est un langage de programmation structuré, étape par étape. Ses transformations permettent de créer, filtrer et combiner des données de sources très différentes. Pour en savoir plus : https://radacad.com/basics-of-m- power- query-formula-language 82
  • 105.
    Langage M 105 • Penseren M est sensible à la casse et complexe : = let x = 1, y = 2, z = x + y in x + y + z Commentaire M: « // » sur une seule ligne ou combiné comme ci-dessous avec une étoile en multiligne de commentaires /* Commentaire ligne 1 Commentaire ligne 2 */ « Let » permet de lancer un calcul M et de le placer dans un résultat « in » Il faut une virgule à la fin de chaque ligne d’étape sauf la dernière avant « in » #table( {"A", "B"}, { {1, 2}, {3, 4} } ) peut se coller dans l’éditeur avancé pour créer une table
  • 106.
    Langage M 106 • Ilpermet de nettoyer les données avant les calculs - Supprimer des lignes, supprimer ou remplacer les erreurs - Recopier vers le bas les sources mal structurées (tableau croisé XL) - Fort dans les transformations de texte : Remplacer des caractères ligne à ligne, et changer les formats - Nettoyer les données : text.Proper (Retourne le résultat de la mise en majuscules de la première lettre uniquement de chaque mot dans la valeur de texte), text.Upper (passage en majuscule), Text.Clean (caractères non imprimables) - Supprimer les doublons : Table.Distinct (fonction native du ruban) - Remplacer les erreurs : Table.ReplaceErrorValues (idem)
  • 107.
    Langage DAX 107 • DAX(Data Analysis Expression) est un langage de formules utilisé outils de Business Intelligence et de visuels dans les • C'est un langage de fonctions : le code est tenu à l'intérieur de la fonction. Il y a plus de 250 fonctions • C'est à l’origine le langage de SSAS 2012 Tabulaire et de Power Pivot (Excel) : un moyen d’aggréger • Penser en DAX réclame une nouvelle attitude - Quand on vient d'Excel, on doit oublier ses réflexes de formules - Prérequis : On doit penser à un bon modèle de donnée avant tout DAX
  • 108.
    Langage DAX 108 • AccèsDesktop : Rapport -> Clic droit sur la table -> Nouvelle Mesure (mesure rapide ou colonne) • On écrit directement nomdelamesure := formule • Exemple : Coût moyen Coût moyen :=average ('Table_tâches'[Coût]) Fonction Syntaxe de la fonction ‘nomdelatable’ [nomdecolonne]
  • 109.
    Langage DAX 109 • NOMDE LA MESURE= - Saisie du début de la formule (insensible à la casse) -> aide au choix - Si ontape « ‘ » on va chercher directement les tables sinon c’est alphabétique (idem pour « [ » et les mesures ou colonnes) - Entrer : permet de valider un morceau de la syntaxe : table, etc… - Séparateur est présenté : ici virgule pour version internationale, versus point virgule en FR pur et dur En bleu : expression et mesure
  • 110.
    Langage DAX 110 • Lesagrégats simples SUM AVERAGE MAX MIN COUNTROWS DISTINCTCOUNT… • Les agrégats d’expression SUMX AVERAGEX MAXX MINX COUNTX… Exemples d’agrégats
  • 111.
    Langage DAX 111 • Principe -L’utilisateur filtre sur une dimension ou + - Tous les calculs reposent sur des données filtrées sur ces dimensions, même si chaque ligne est liée à une autre dimension - Grosse différence avec les formules XL - Le contexte de filtre vient de : - Segment - Filtre du panneau de Filtre (visuel, page) - Sélection d’un item d’un visuel - Extraction (Drill down) - Hiérarchie rapport, - Donne l’intelligence et le dynamisme • Exemple : SUM Contexte de filtre
  • 112.
    Langage DAX 112 • Principe -C’est la ligne « courante » - Le contexte de ligne vient de : - chaque ligne de la table - Un calcul - C’est utilisé notamment par toutes les fonctions itératives (SUMX) - car elles parcourent ligne à ligne pour donner le calcul (l’expression) lié à la ligne - Il ne faut pas - Créer une colonne SUM, car cela ignore le uniquement contexte de ligne, il faut en faire une mesure - C’est utilisé aussi avec les nouvelles colonnes calculées Contexte de Ligne • Exemple : SUMX Marge= SUMX(Dim_Produits, ([Prix unitaire]-[Coût unitaire]) * [Qté]) Marge= ([Prix unitaire] - [Coût unitaire] ) * [Qté]
  • 113.
    Langage DAX 113 Les mesuresLes colonnes •Globales à l’ensemble des tables •Fait pour les calculs d’agrégation •Utilisent très bien le contexte de ligne ou de filtre •Universelles : Différentes des formules Excel •Peuvent être regroupées dans une table spécifique ou placées sur une table de fait ou de dimension •Mesures sont calculées au moment de la requête et non stockée (sauf si préparées dans Dataware House ou SSAS) •Ne prend pas de place sur le volume de données chargé •Le calcul se fait sur demande du visuel , La •Dépendante d’une table •Idéal pour des dates, ou du texte •Doivent varier d’une ligne à l’autre (sinon redondance de la donnée) •Proches des formules Excel •Rattachées à la table dont elles précisent l’objet •Indispensable sur des fonctions de date basiques (#semaine) •Les colonnes sont calculées au moment du refresh : impact sur le temps de mise à jour •IMPACT le temps de refresh et sur la RAM •Stockée dans les tables MESURE VS COLONNE
  • 114.
    Langage DAX 114 • Tabletoute simple de dimension TEMPS • But : manipuler les périodes • Outils de table – Nouvelle table ici table en dur – Calendrier = CALENDAR (DATE(2011,1,1), DATE(2021,12,31)) • Outils de table – Marquer comme table de date – But : faire fonctionner les visuels et les formules de temps correctement • Formatter la date en date pour se débarrasser des heures • Autre Table • Table de date relative CalendrierRelatif = CALENDAR (DATE(2011,1,1), NOW()+365) • Power BI récupère et met en forme les noms et valeurs de colonnes selon la langue du modèle. Si la table est du DAX, ou de la dimension temps Time Inteligence, elle pourra s’afficher selon la langue de l’utilisateur. Si c’est du M ou du SQL sans Time Intelligence, il n’y aura aucune conversion en langue locale. Créer une table de temps Qu’est-ce qu’une table de date ? Une table de date est une table dédiée qui contient un unique enregistrement pour chaque jour entre deux dates. Cette table peut inclure tout attribut utile à l’utilisateur : l’année, le mois, la semaine, le fait que le jour soit férié ou pas.
  • 115.
    Langage DAX 115 YTD • Estrelatif à une année : c’est le cumul à date pour le contexte d’une année • Exemple - CumulAnnuelàDate_MandatsC = TOTALYTD(SUM('FACT_COD_MANDATS'[nb_mandats_c]),DIMENSION_TEMPS[Date])
  • 116.
    Langage DAX 116 Calculate • UtiliserCALCULATE quand on a besoin de changer le contexte de filtre CALCULATE(<expression>,<filter1>,<filter2>…) • Exemple : - La définition de mesure pour la table Sales suivante produit un résultat sous forme de chiffre d’affaires, mais uniquement pour les produits bleus Blue Revenue = CALCULATE( SUM(Sales[Sales Amount]), 'Product'[Color] = "Blue")
  • 117.
  • 118.
    Les annexes  IntelligenceArtificielle (AI) • Référence aux outils modernes utilisant l’IA.  Wikipédia • Définition et concepts de base de la BI et de l’IA.  Polytechnique de Sousse • Contribution académique et exemples de projets.  Source complémentaire :  Documentation Microsoft Power BI : https://docs.microsoft.com/power-bi  Outils de l'IA en BI : Exemples d'IA en BI
  • 119.
    Remerciements Chers participants, Je tiensà vous remercier chaleureusement pour votre participation active et votre engagement tout au long de cette formation. Vos échanges enrichissants et votre implication ont largement contribué à la réussite de ces journées d'apprentissage. J’espère que les compétences acquises vous seront bénéfiques dans vos projets futurs et vous aideront à relever de nouveaux défis. N’hésitez pas à me contacter pour toute question, demande d’accompagnement ou pour approfondir certains aspects abordés durant cette session. Formateur : M. Mouhamed Anouar Farsi Email : [email protected] / [email protected] Téléphone : +216 54000546 / +216 93232423