Évolution de la supervision chez Ikoula
Quellessontlesréponses apportéesauxcontraintes
devolumétrieetdeperformance?
AUTEUR : NICOLAS TRAUWAEN
Qui est ikoula ?
Création : 1998
8 000 OS en
production
Effectif : 47 employés
5 000 serveurs
physiques
2 datacenters en
France et présence
sur 3 continents
Un peu d’histoire
Volumétrie
0
5
10
15
20
25
1998
Nb serveurs
0
5
10
15
20
25
1998
Nb OS
0
0,2
0,4
0,6
0,8
1
1,2
1998
Mires par OS
0
5
10
15
20
25
1998
Nb mires totales
Fping & rsyslog
et les escalades par e-mail
 Un script fping au milieu du réseau
 Une simple configuration rsyslog + un relai SMTP
 Configuration appliquée dans l’image de déploiement
 Pas besoin de se connecter aux machines pour consulter les logs
Avantages
 Devient vite chronophage pour détecter les alarmes des
avertissements
 Difficulté à gérer les changements
 Pas adapté à une quantité de serveurs grandissante
 N’assure pas une supervision de la disponibilité des machines
Inconvénients
Volumétrie
0
20
40
60
80
100
120
1998 2000
Nb serveurs
0
20
40
60
80
100
120
1998 2000
Nb OS
0
0,5
1
1,5
2
2,5
1998 2000
Mires par OS
0
50
100
150
200
250
1998 2000
Nb mires totales
Servers Alive
 Supervision simple via le réseau
 Test des ports en écoute
 ICMP ping
 Pas d’agent ni de configuration locale
 Serveur central avec un tableau de bord des alarmes
Avantages
 Gestion de l’inventaire manuel
 Obligation de couper / relancer le service à chaque mise à jour
de l’inventaire
 Pas de redondance du service de supervision
Inconvénients
Volumétrie
0
200
400
600
800
1000
1200
1998 2000 2004
Nb serveurs
0
200
400
600
800
1000
1200
1998 2000 2004
Nb OS
0
1
2
3
4
5
6
1998 2000 2004
Mires par OS
0
1000
2000
3000
4000
5000
6000
1998 2000 2004
Nb mires totales
Automatisation de l’inventaire
 Fichier d’inventaire en XML
 Script pour synchronisation entre SI et SAlive
 Toutes les alarmes sont réinitialisées à chaque relance du service
 Quelle fréquence de synchronisation ?
SAlive
 Solution open source
 Modulable
 Gestion dynamique de l’inventaire
 Processus CGI mono thread
 Peu réactif
 Développement nécessaire pour améliorer les performances
Nagios
 Solution open source
 Modulable
 Gestion dynamique de l’inventaire
 Processus PHP multithread
 Grande réactivité
 Solution nouvelle et peu connue
Zabbix
Utilisation de templates
 Tout modéliser est impossible
 Multiplication des mires « inutiles » avec des templates à large spectre
 Attention au « il vaut mieux trop que trop peu »
 Trouver l’équilibre entre modèle et personnalisation
Les templates c’est bien, mais…
Volumétrie
0
500
1000
1500
2000
2500
1998 2000 2004 2006
Nb serveurs
0
500
1000
1500
2000
2500
1998 2000 2004 2006
Nb OS
0
2
4
6
8
10
12
1998 2000 2004 2006
Mires par OS
0
5000
10000
15000
20000
25000
1998 2000 2004 2006
Nb mires totales
Utilisation d’agents
 Les mires systèmes en « built-in »
 Possibilité de personnaliser la supervision avec des
« UserParameters »
 Agent en mode passif
 Si le serveur ne répond pas, l’agent conserve les relevés jusqu’à
la prochaine synchronisation
Avantages
 Gestion des configurations personnalisées
 Risque d’ « information disclosure » avec les UserParameters
 Charge de traitement sur le serveur maître avec agents passifs
 Ouverture de ports supplémentaires par machine
Inconvénients
Volumétrie
0
1000
2000
3000
4000
5000
1998 2000 2004 2006 2010
Nb serveurs
0
1000
2000
3000
4000
5000
6000
1998 2000 2004 2006 2010
Nb OS
0
5
10
15
20
25
1998 2000 2004 2006 2010
Mires par OS
0
20000
40000
60000
80000
100000
120000
1998 2000 2004 2006 2010
Nb mires totales
Éclatement de l’infra
Base de données
redondée
Moteur zabbix central
Proxy
zabbix
Proxy
zabbix
Proxy
zabbix
Proxy
zabbix
Proxy
zabbix
Tableau
de bord
dans
l’intranet
Proxy zabbix
Base de
données
Moteur zabbix
Tableau
de bord
dans
l’intranet
et
extranet
Avant Après
3 serveurs 9 serveurs et plus
 Analyse des slow queries
 Ajout d’index sur les tables les plus consultées
 Passage des tables temporaires en RAMDISK
 Optimisations InnoDB
Optimisations bdd
Volumétrie
0
1000
2000
3000
4000
5000
6000
1998 2000 2004 2006 2010 2015
Nb serveurs
0
2000
4000
6000
8000
10000
1998 2000 2004 2006 2010 2015
Nb OS
0
10
20
30
40
50
1998 2000 2004 2006 2010 2015
Mires par OS
0
50000
100000
150000
200000
250000
300000
350000
1998 2000 2004 2006 2010 2015
Nb mires totales
Zabbix 2.x
 Autodiscover des ressources locales
 Utilisation de macros
 Possibilité de placer les personnalisations en base (scripts,
commandes, etc.)
 Passage des agents en mode actif
 Modélisation des webscénarii
 API zabbix
Changements ?
 Utilisation de XtraDB
 Partitionnement des tables d’historique pour archivage des
valeurs les plus anciennes
Optimisations bdd
 Découverte automatique des instances dans le Cloud public et
privé
 Meilleure intégration de la supervision des OS « dockerisés »
(CoreOS, rancherOS)
 Supervision des ressources par conteneur (cadvisor like)
 Analyse prédictive de comportements
Évolutions à venir
 https://www.ikoula-blog.com
 https://fr.ikoula.wiki
 https://zabbix.org
Ressources
Rejoignez-nous !
R & D
Reims (51)
Créatifs et passionnés par l’innovation,
intégrez la R&D !
Commerciaux
Boulogne-Billancourt (92)
Conseiller et imaginer des solutions pour
répondre à un besoin vous motive ?
Rejoignez nos équipes commerciales et
avant-vente
Exploitation
Reims (51)
Attirés par l’accompagnement utilisateur
et l’administration système, le support
est fait pour vous.
D’autres compétences ?
N’hésitez pas à nous proposer votre
candidature spontanée !
jobs@ikoula.com
https://www.ikoula.com/fr/emploi
@ikoula ou @ikoula_EN
Ikoula Hosting Services
Ikoula
Ikoula
Gardez le contact !
AUTEUR : NICOLAS TRAUWAEN

Contenu connexe

PDF
201505 monitoring
PDF
Serveur Zabbix
PPTX
Moussasambe projet de securite zabbix
PDF
Zabix formation-zabbix-supervision-d-infrastructure
PDF
Zabbix
PDF
Presentation Zabbix en Français du 6 Juin 2013
PPTX
Présentation stage ouvrier 2015
PDF
Superviser efficacement en environnement opérationnel
201505 monitoring
Serveur Zabbix
Moussasambe projet de securite zabbix
Zabix formation-zabbix-supervision-d-infrastructure
Zabbix
Presentation Zabbix en Français du 6 Juin 2013
Présentation stage ouvrier 2015
Superviser efficacement en environnement opérationnel

En vedette (20)

PDF
Zabbix, garder un oeil toujours ouvert
PPT
Monitores
PDF
Définition coaching
PPT
LA EXPERIENCIA MUSICAL Apunte sobre Timothy Rice MÚSICA
PPT
j'aime les fleurs et les insectes aussi
PPT
Presentacion
PDF
¿Cómo el ejercito sionista de Israel ha dejado Gaza?
PDF
AndalucíA Con Miguel HernáNdez Torrevieja
PDF
Periodismo Social
PPT
20091008 Espanha
PPS
jesus en cuba
PPTX
Windows phonemarketplace sgce2012
PPTX
Dinámica relacional e inteligencia colectiva
PPT
Le discours indirect
PPT
E L P O D E R M E D IÁ T I C O
PPT
Presentacion nustras pueblos
PPS
Historia De La Transicion Cubana
PPT
Rancho La Mora Toluca
PPS
Nada sucede por casualidad
PPS
1215contigopps
Zabbix, garder un oeil toujours ouvert
Monitores
Définition coaching
LA EXPERIENCIA MUSICAL Apunte sobre Timothy Rice MÚSICA
j'aime les fleurs et les insectes aussi
Presentacion
¿Cómo el ejercito sionista de Israel ha dejado Gaza?
AndalucíA Con Miguel HernáNdez Torrevieja
Periodismo Social
20091008 Espanha
jesus en cuba
Windows phonemarketplace sgce2012
Dinámica relacional e inteligencia colectiva
Le discours indirect
E L P O D E R M E D IÁ T I C O
Presentacion nustras pueblos
Historia De La Transicion Cubana
Rancho La Mora Toluca
Nada sucede por casualidad
1215contigopps
Publicité

Similaire à Évolution de la supervision chez Ikoula (20)

PDF
Intellicore Tech Talk 10 - Apache Web Server Internals
PPTX
Les nouveautés de MongoDB 3.6
PPTX
MongoDB 3.6 Customer Deck pptx.pptx
PPT
2009-03-13 SQL Server une plateforme crédible
PPTX
Administration et supervision depuis le Cloud avec Azure Logs Analytics
PPT
Conférence AFUP 20minutes.Fr
PPT
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
PDF
Les Nouveautés de zabbix 2.2 par Alain Ganuchaud
DOC
_JCVFr
PDF
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
PDF
MHA : MySQL haute dispo, chez Viadeo par Olivier Dasini
PDF
Retour d'expérience sur Pentaho Data Integration - ce que PDI nous a apporté
PPTX
What's new in MongoDB 3.6
PDF
IBM FlashSystem : Les bonnes raisons de passer au Flash
PDF
MariaDB Paris Workshop 2023 - DARVA presentation
ODP
2012 02-09-eranea-presentation-jug-lausanne
PPTX
SharePoint Days Casablanca 2016 - Les nouveautés de SharePoint 2016
PDF
Biz talk summit devops - monitoring
PPTX
Techdays 2011 : Développez en Java avec la plateforme Team Foundation Server ...
Intellicore Tech Talk 10 - Apache Web Server Internals
Les nouveautés de MongoDB 3.6
MongoDB 3.6 Customer Deck pptx.pptx
2009-03-13 SQL Server une plateforme crédible
Administration et supervision depuis le Cloud avec Azure Logs Analytics
Conférence AFUP 20minutes.Fr
2008-10-02 Paris - Administration des applications critiques avec SQL Server ...
Les Nouveautés de zabbix 2.2 par Alain Ganuchaud
_JCVFr
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
MHA : MySQL haute dispo, chez Viadeo par Olivier Dasini
Retour d'expérience sur Pentaho Data Integration - ce que PDI nous a apporté
What's new in MongoDB 3.6
IBM FlashSystem : Les bonnes raisons de passer au Flash
MariaDB Paris Workshop 2023 - DARVA presentation
2012 02-09-eranea-presentation-jug-lausanne
SharePoint Days Casablanca 2016 - Les nouveautés de SharePoint 2016
Biz talk summit devops - monitoring
Techdays 2011 : Développez en Java avec la plateforme Team Foundation Server ...
Publicité

Plus de Ikoula (20)

PDF
Présentation Ikoula au Meet-up Docker à l'école 42
PPTX
Présentation Ansible Ikoula
PDF
Pres démo drupal_ikoula
PPTX
Webinar Cloud Hybrid Toolbox
PPTX
Webinar cloud hybrid toolbox
PPTX
Service Provider Show Case "Public Clouds"
PPTX
Presentation cloud&drinks
PDF
Catalogue Express
PDF
Fiche CloudStack by Ikoula
PDF
Flyer Flex Server HA
PDF
Flyer Flex Entreprise
PDF
Flyer infogérance
PDF
Web Presence Builder
PDF
Présentation ikoula et LSF Interactive 28 mai
PDF
Présentation CloudStack by Ikoula pour les Start-up @ La Cantine
PDF
CloudStack by Ikoula
PDF
Le cloud en toute confiance
PDF
Flex server 2011
PDF
Exchange 2010
PDF
Vm à 1€
Présentation Ikoula au Meet-up Docker à l'école 42
Présentation Ansible Ikoula
Pres démo drupal_ikoula
Webinar Cloud Hybrid Toolbox
Webinar cloud hybrid toolbox
Service Provider Show Case "Public Clouds"
Presentation cloud&drinks
Catalogue Express
Fiche CloudStack by Ikoula
Flyer Flex Server HA
Flyer Flex Entreprise
Flyer infogérance
Web Presence Builder
Présentation ikoula et LSF Interactive 28 mai
Présentation CloudStack by Ikoula pour les Start-up @ La Cantine
CloudStack by Ikoula
Le cloud en toute confiance
Flex server 2011
Exchange 2010
Vm à 1€

Dernier (9)

PPTX
843555943-Introduction-a-l-Intelligence-Artificielle.pptx
PDF
Gestion de la main-d’œuvre dans SAP Extended Warehouse Management, EWM125 Col26
PDF
Utilisation de la gestion des ressources dans SAP Extended Warehouse Manageme...
PDF
Gestion des stocks et inventaire, SCM510 Col15
PDF
1.3.4-Handling-and-Safety-Instructions-FR-2024.pdf
PDF
Cours du langage HTML depuis initiation à la maîtrise
PPTX
Pourquoi j'ai arrêté Magento : neuf ans de transitions technologiques
PDF
Personnalisation de rubriques supplémentaires dans SAP Extended Warehouse Man...
PDF
SHAKA 2025 - Création d'Images en IA : Mode Expert Activé
843555943-Introduction-a-l-Intelligence-Artificielle.pptx
Gestion de la main-d’œuvre dans SAP Extended Warehouse Management, EWM125 Col26
Utilisation de la gestion des ressources dans SAP Extended Warehouse Manageme...
Gestion des stocks et inventaire, SCM510 Col15
1.3.4-Handling-and-Safety-Instructions-FR-2024.pdf
Cours du langage HTML depuis initiation à la maîtrise
Pourquoi j'ai arrêté Magento : neuf ans de transitions technologiques
Personnalisation de rubriques supplémentaires dans SAP Extended Warehouse Man...
SHAKA 2025 - Création d'Images en IA : Mode Expert Activé

Évolution de la supervision chez Ikoula

  • 1. Évolution de la supervision chez Ikoula Quellessontlesréponses apportéesauxcontraintes devolumétrieetdeperformance? AUTEUR : NICOLAS TRAUWAEN
  • 2. Qui est ikoula ? Création : 1998 8 000 OS en production Effectif : 47 employés 5 000 serveurs physiques 2 datacenters en France et présence sur 3 continents
  • 5. Fping & rsyslog et les escalades par e-mail
  • 6.  Un script fping au milieu du réseau  Une simple configuration rsyslog + un relai SMTP  Configuration appliquée dans l’image de déploiement  Pas besoin de se connecter aux machines pour consulter les logs Avantages
  • 7.  Devient vite chronophage pour détecter les alarmes des avertissements  Difficulté à gérer les changements  Pas adapté à une quantité de serveurs grandissante  N’assure pas une supervision de la disponibilité des machines Inconvénients
  • 8. Volumétrie 0 20 40 60 80 100 120 1998 2000 Nb serveurs 0 20 40 60 80 100 120 1998 2000 Nb OS 0 0,5 1 1,5 2 2,5 1998 2000 Mires par OS 0 50 100 150 200 250 1998 2000 Nb mires totales
  • 10.  Supervision simple via le réseau  Test des ports en écoute  ICMP ping  Pas d’agent ni de configuration locale  Serveur central avec un tableau de bord des alarmes Avantages
  • 11.  Gestion de l’inventaire manuel  Obligation de couper / relancer le service à chaque mise à jour de l’inventaire  Pas de redondance du service de supervision Inconvénients
  • 12. Volumétrie 0 200 400 600 800 1000 1200 1998 2000 2004 Nb serveurs 0 200 400 600 800 1000 1200 1998 2000 2004 Nb OS 0 1 2 3 4 5 6 1998 2000 2004 Mires par OS 0 1000 2000 3000 4000 5000 6000 1998 2000 2004 Nb mires totales
  • 14.  Fichier d’inventaire en XML  Script pour synchronisation entre SI et SAlive  Toutes les alarmes sont réinitialisées à chaque relance du service  Quelle fréquence de synchronisation ? SAlive
  • 15.  Solution open source  Modulable  Gestion dynamique de l’inventaire  Processus CGI mono thread  Peu réactif  Développement nécessaire pour améliorer les performances Nagios
  • 16.  Solution open source  Modulable  Gestion dynamique de l’inventaire  Processus PHP multithread  Grande réactivité  Solution nouvelle et peu connue Zabbix
  • 18.  Tout modéliser est impossible  Multiplication des mires « inutiles » avec des templates à large spectre  Attention au « il vaut mieux trop que trop peu »  Trouver l’équilibre entre modèle et personnalisation Les templates c’est bien, mais…
  • 19. Volumétrie 0 500 1000 1500 2000 2500 1998 2000 2004 2006 Nb serveurs 0 500 1000 1500 2000 2500 1998 2000 2004 2006 Nb OS 0 2 4 6 8 10 12 1998 2000 2004 2006 Mires par OS 0 5000 10000 15000 20000 25000 1998 2000 2004 2006 Nb mires totales
  • 21.  Les mires systèmes en « built-in »  Possibilité de personnaliser la supervision avec des « UserParameters »  Agent en mode passif  Si le serveur ne répond pas, l’agent conserve les relevés jusqu’à la prochaine synchronisation Avantages
  • 22.  Gestion des configurations personnalisées  Risque d’ « information disclosure » avec les UserParameters  Charge de traitement sur le serveur maître avec agents passifs  Ouverture de ports supplémentaires par machine Inconvénients
  • 23. Volumétrie 0 1000 2000 3000 4000 5000 1998 2000 2004 2006 2010 Nb serveurs 0 1000 2000 3000 4000 5000 6000 1998 2000 2004 2006 2010 Nb OS 0 5 10 15 20 25 1998 2000 2004 2006 2010 Mires par OS 0 20000 40000 60000 80000 100000 120000 1998 2000 2004 2006 2010 Nb mires totales
  • 25. Base de données redondée Moteur zabbix central Proxy zabbix Proxy zabbix Proxy zabbix Proxy zabbix Proxy zabbix Tableau de bord dans l’intranet Proxy zabbix Base de données Moteur zabbix Tableau de bord dans l’intranet et extranet Avant Après 3 serveurs 9 serveurs et plus
  • 26.  Analyse des slow queries  Ajout d’index sur les tables les plus consultées  Passage des tables temporaires en RAMDISK  Optimisations InnoDB Optimisations bdd
  • 27. Volumétrie 0 1000 2000 3000 4000 5000 6000 1998 2000 2004 2006 2010 2015 Nb serveurs 0 2000 4000 6000 8000 10000 1998 2000 2004 2006 2010 2015 Nb OS 0 10 20 30 40 50 1998 2000 2004 2006 2010 2015 Mires par OS 0 50000 100000 150000 200000 250000 300000 350000 1998 2000 2004 2006 2010 2015 Nb mires totales
  • 29.  Autodiscover des ressources locales  Utilisation de macros  Possibilité de placer les personnalisations en base (scripts, commandes, etc.)  Passage des agents en mode actif  Modélisation des webscénarii  API zabbix Changements ?
  • 30.  Utilisation de XtraDB  Partitionnement des tables d’historique pour archivage des valeurs les plus anciennes Optimisations bdd
  • 31.  Découverte automatique des instances dans le Cloud public et privé  Meilleure intégration de la supervision des OS « dockerisés » (CoreOS, rancherOS)  Supervision des ressources par conteneur (cadvisor like)  Analyse prédictive de comportements Évolutions à venir
  • 33. Rejoignez-nous ! R & D Reims (51) Créatifs et passionnés par l’innovation, intégrez la R&D ! Commerciaux Boulogne-Billancourt (92) Conseiller et imaginer des solutions pour répondre à un besoin vous motive ? Rejoignez nos équipes commerciales et avant-vente Exploitation Reims (51) Attirés par l’accompagnement utilisateur et l’administration système, le support est fait pour vous. D’autres compétences ? N’hésitez pas à nous proposer votre candidature spontanée ! [email protected] https://www.ikoula.com/fr/emploi
  • 34. @ikoula ou @ikoula_EN Ikoula Hosting Services Ikoula Ikoula Gardez le contact ! AUTEUR : NICOLAS TRAUWAEN

Notes de l'éditeur

  • #5: Multiplication des modèles « cloud » : plus d’hyperviseurs, moins de serveurs dédiés
  • #9: Multiplication des modèles « cloud » : plus d’hyperviseurs, moins de serveurs dédiés
  • #13: Multiplication des modèles « cloud » : plus d’hyperviseurs, moins de serveurs dédiés
  • #16: Modulable : plugins, scripts Réactivité « out of the box » : plus de 30 minutes pour faire le tour de l’inventaire et détecter un changement, pour le temps réel… c’est loupé
  • #17: Modulable : plugins, scripts Réactivité « out of the box » : moins d’une minute pour détecter un problème De mémoire, on a commencé à travailler avec la v0.6 ou v0.8
  • #19: Il y a forcément des cas particuliers Attention : fréquence de check entre 2 valeurs trop haute
  • #20: Multiplication des modèles « cloud » : plus d’hyperviseurs, moins de serveurs dédiés
  • #22: Mode passif : le serveur vient chercher l’information. Agent peu gourmand en ressources locales
  • #23: Ex : MDP MySQL en clair dans le fichier de configuration
  • #24: Multiplication des modèles « cloud » : plus d’hyperviseurs, moins de serveurs dédiés
  • #26: Problèmes de perf au niveau du master Nvps (nouvelles valeurs par seconde) trop élevé pour notre infra -> obligation de se raisonner Charge de consultation induite par le tableau de bord interne et client
  • #27: Innodb : augmentation des caches et du buffer pool
  • #28: Multiplication des modèles « cloud » : plus d’hyperviseurs, moins de serveurs dédiés
  • #29: Choix sur 2.2 parce que LTS Mieux adaptée aux grosses infra Amélioration des perfs sur la consultation des données (cache, etc.) Refonte de l’infra matérielle
  • #30: Autodiscover des ressources locale Macros : utilisation de variables pour les MDP, hostname, etc. stockées en base et non dans le fichier de conf de l’agent UserParameters : la conf des agents peut enfin devenir standard Mode actif : permet de réduire la charge de traitement du serveur zabbix Seules les IP des relais et du serveur zabbix sont diffusées API : intéressante mais certaines améliorations à faire… toutes fonnctions non dispo perf parfois inférieures à un appel direct en base
  • #31: Passage à percona : XtraDB en mode standalone, pas cluster parce que pb lock de table Zabbix a besoin de lock ses tables, lorsque ça arrivait, les autres nœuds n’étaient pas au courant du statut ce qui engendrait des erreurs Partitionnement : Housekeeper : (garbage collector) très consommateur en ressources sur master une partition par mois d’historique delete de la partition en fin d’archivage désactivation du housekeeper gain de perf globale car les
  • #32: Zabbix 3.x Etc.