Gegevenskwaliteit – een raamwerk vanuit NORA
Download as PPTX, PDF0 likes1,779 views
NORA/Gegevensmanagement heeft de handschoen opgepakt om een overheidsbrede standaard voor gegevenskwaliteit op te zetten. We hebben internationale standaarden en een diversiteit aan ervaringen bij (overheids)organisaties geanalyseerd, geïntegreerd en vertaald naar een breed toepasbaar kwaliteitsraamwerk. Dit raamwerk beschrijft de dimensies en attributen waarbinnen gegevenskwaliteit expliciet kan worden gemaakt. Het is een praktische checklist, die je kunt toepassen in allerlei contexten. Met plezier presenteren we het resultaat en nodigen we jullie uit om mee te denken over het toepasbaar maken van deze resultaten.
Gegevenskwaliteit – een raamwerk vanuit NORA
- 1. Sturen op gegevens Gegevenskwaliteit – een raamwerk vanuit NORA Symposium Gegevensmanagement 2020 Danny Greefhorst ([email protected]) namens kernteam (Wim Stolk, Kasper Kisjes, Jaap van den Berg, Gerald Groot Roessink)
- 2. Inhoud • Het doel en de uitgangspunten • Gegevenskwaliteit • De input • Het proces • De output op dit moment • Het vervolg
- 3. Het doel en de uitgangspunten • Een gemeenschappelijk raamwerk voor gegevenskwaliteit voor de Nederlandse overheid: • Kwaliteitsdimensies, kwaliteitsattributen en voorbeelden • Gebaseerd op beschikbare theorie, standaarden en best practices • Uitgaan van eerder resultaat, met name Omgevingswet raamwerk • Gericht op praktische toepasbaarheid
- 4. Basisbegrippen Kwaliteit: Mate waarin een geheel van eigenschappen en kenmerken van een object voldoet aan eisen (ISO 9000:2015 DIS). Gegevenskwaliteit: Mate waarin een geheel van eigenschappen en kenmerken van één of meer gegevens voldoet aan eisen. Gegeven: Een formeel vastgelegd feit, begrip of aanwijzing (NORA) Het streven is dat gegevenskwaliteit “fit-for-purpose” is; dat deze aansluit bij het gebruik Kwaliteit heeft betrekking op de mate waarin wordt voldaan aan verwachtingen
- 5. Gerelateerde begrippen Kwaliteitsraamwerk Dataset Een aspect van kwaliteit waaraan gebruikers van gegevens waarde hechten Een aspect van een kwaliteitsdimensie Een verzameling kwaliteitsdimensies en kwaliteitsattributen Een verzameling gegevens die als geheel wordt verwerkt Een regel die een beperking stelt aan gegevens Een norm waaraan gegevens moeten voldoen Kwaliteits dimensie Kwaliteits attribuut KwaliteitseisKwaliteitsregel
- 7. Voorbeeld kwaliteitsregels en -eisen Kwaliteitsregels • De naam van de medewerker komt overeen met de naam zoals vermeld op het paspoort • Urendeclaraties en reisdeclaraties overlappen niet met andere urendeclaraties of reisdeclaraties • Postcodes die worden geregistreerd bij een werkreis komen voor in de postcodetabel • De tijd van een werkactiviteit wordt afgerond op een half uur • Bij urendeclaraties wordt een door de klant getekend exemplaar van een urenstaat meegeleverd Kwaliteitseisen • naam van de medewerker komt volledig overeen met de naam zoals vermeld op het paspoort voor 100% van de medewerkers • De reisafstand wijkt maximaal 5 kilometer af van de afstand die Google maps aangeeft voor de route voor 95% van de werkreizen • 95% van de postcodes die worden geregistreerd als startpunt of eindpunt van een werkreis komen voor in de postcodetabel • Urendeclaraties worden binnen 60 uur na het verstrijken van de week in het systeem geregistreerd
- 16. Waarom is gegevenskwaliteit belangrijk in jouw context? (1) • Meten hoe ver je bent • Betrouwbaarheid van gegevens • Om correcte gevolgtrekkingen te kunnen ondersteunen • Goede dienstverlening mogelijk maken • Basis voor betrouwbare bedrijfsuitoefening • Hoe gaan we het belang van gegevenskwaliteit op de agenda van bestuurders zetten? • Procesbehandeling • Breed gebruik basisregistraties • Indicatie betrouwbaarheid • Bron voor allerhande afgeleide gegevens, moet dus kwalitatief goed zijn • In het kader van het hergebruiken van data is het van belang dat de data correct is • Zonder goede datakwaliteit, lagere betrouwbaarheid van rapportages met potentiële verkeerde beslissingen tot gevolg • Betere Basis • Context Informatiebeheer: informatie bestaat steeds meer uit gegevens die in een verband/context gebruikt worden. Kwaliteit gegevens bepaalt kwaliteit informatie • DUO: Om onze wettelijke taken goed uit te kunnen voeren • Matige kwaliteit leidt tot matige beslissingen • Zonder gegevenskwaliteit geen vertrouwen in management informatie • Consistentie, Validiteit, Juistheid • Onnodig gebruik van gegevens voorkomen & kwaliteit verhogen bij afnemers • Beslissing met financiële gevolgen, hergebruik door andere overheden en open data • Voor informatie gestuurd werken, monitoren en toezicht houden. • Basis voor besluitvorming
- 17. Waarom is gegevenskwaliteit belangrijk in jouw context? (2) • Omgevingseis • Juistheid en betrouwbaarheid • Nemen juiste beslissingen • Juiste informatievoorziening • Compliance • Goede vindbaarheid • Betrouwbaarheid zorgt ervoor dat je betere beslissingen kan nemen en voldoet aan alle regelgeving • Als je rapportages maakt wil je ervan uit kunnen gaan dat de gegevens die je gebruikt juist en volledig zijn bijvoorbeeld • Toegankelijkheid • Beschikbaar stellen aan initiatiefnemers voor het maken van plannen • Meer grip • Zonder kwaliteitsoordeel geen houvast • Alles wat is genoemd • Eenheid in gebruik van gegevens • Kans op foute beslissing in groot • Beslissingen en keuzes op basis van de juiste informatie • Basis informatiehuishouding gemeente • Gebruik voor betrouwbaarheid gegevens en uitwisseling • Betrouwbare overheid • Efficiënte werkprocessen • Om je doel te bereiken • Gegevens zijn een asset • Besluitvorming • Aanbieder authentieke gegevens in basisregistraties
- 18. Waarom is gegevenskwaliteit belangrijk? • Snellere en betere besluitvorming – betere gegevens leiden tot minder discussie en meer betrouwbare besluiten • Meer efficiënte en voorspelbare processen – betere gegevens voorkomen inefficiënte handelingen en onverwachte verrassingen • Compliance – door betere gegevens kun je beter, efficiënter en met meer vertrouwen rapporteren over het voldoen aan wet- en regelgeving
- 19. Afbakening: kwaliteit van de gegevens zelf gegevenskwaliteit Kwaliteit van de data governance Kwaliteit van de processen Kwaliteit van de aanlevering Kwaliteit van het informatie model Kwaliteit van de systemen Kwaliteit van de gegevens zelf Waarde van gegevens in gebruik (ook wel: externe kwaliteit)
- 20. De input Open standaarden • ISO/IEC 25012/25024, NEN/ISO 19157, ISO 5725, ISO 8000 De facto standaarden • DAMA-NL Code voor Informatiekwaliteit, DAMA-NL Dimensions of Data Quality, DAMA DMBoK, Conformed Dimensions of Data Quality Onderzoek • R.W. Wang, C. Batini, D. McGilvary, Y. Lee, D. Loshin, G. Tejay, C. Besselink, P. van Oort Zelf-ontwikkelde raamwerken • Omgevingswet, Rijkswaterstaat, IPO Ervaringen bij de Nederlandse overheid • DSO, Kadaster, RIVM, Rijkswaterstaat, RCE, DUO, IPO, Waterschapshuis, VNG, InspectieViews
- 21. Het proces tot nu toe • Kernteam: Wim Stolk, Danny Greefhorst, Kasper Kisjes, Jaap van den Berg, Gerald Groot Roessink • Confrontatie van raamwerken Omgevingswet en Rijkswaterstaat • Kritische beoordeling door vanuit kernteam en toetsing o.b.v. DUO praktijk • Afstemming met DAMA-NL initiatief – Dimensions of Data Quality • Reviewronde met circa 15 reviewers • Verwerking reviewcommentaar: • Splitsing kern en toevoegingen voor geo- en statistiek • Mapping op Code voor Informatiekwaliteit en nieuwe DAMA-NL lijst • Toevoeging van toepassingsniveau • Toevoeging van toelichtingen en meer voorbeelden
- 22. Basisraamwerk Juistheid Compleetheid Validiteit Consistentie Actualiteit Precisie Plausibiliteit Traceerbaarheid De mate waarin gegevens de echte waarde goed weergeven. De mate waarin gegevens aanwezig zijn. De mate waarin gegevens voldoen aan de verwachte structuur en opslagvorm. De mate waarin gegevens niet in tegenspraak zijn met andere gegevens. De mate waarin gegevens recent genoeg zijn. De mate waarin gegevens exact of onderscheidend genoeg zijn. De mate waarin gegevens worden beschouwd als waar en geloofwaardig door gebruikers. De mate waarin de totstandkoming en het gebruik van gegevens zijn vastgelegd. Begrijpelijkheid De mate waarin gegevens eenvoudig gelezen en geïnterpreteerd kunnen worden door gebruikers.
- 25. StatistiekGeografie Extensies voor geografie en statistiek Positionele juistheid Ruimtelijke dekking Geometrische validiteit Topologische consistentie Geometrische precisie Kwantitatieve juistheid Represen tativiteit Statistische precisie Juistheid Compleetheid Validiteit Consistentie Actualiteit Precisie Plausibiliteit Traceerbaarheid Begrijpelijkheid
- 28. Welke vragen moet de werkgroep beantwoorden? • Context dus, welke gaat over de relevantie in een bepaalde situatie • Praktische toepasbaarheid van verschillende pooling. Eventueel opensource • Praktische tips voor het opstellen van kwaliteitseisen • Een handreiking/checklist (van <100 blz als bet kan) die je als gemeente kan gebruiken. Dit is veel theorie die ik graag zou toepassen • Hoe delen we dit met onderwijs (afstuderende ict- ers/managers en zo) • Zijn collectieve meetvoorschriften mogelijk? • Met welke tool kun je kwaliteit van gegevens meten • De meetbaarheid van de kwaliteit (waardes bepalen) • informatiekwaliteit (extern) vs gegevenskwaliteit (intern) • Uitwerking van voorbeelden, gerelateerd aan het raamwerk • plan van aanpak, hoe pak je het aan, waar begin je, hoe kan je effectief stappen zetten, • Praktisch gaat voor mij over het hoe. Zijn daar story’s voor te maken. Maakt het minder algemeen en meer te begrijpen • Aansluiting kwaliteit op de beheersbaarheid van gegevens volgen de archiefbeelden en AVG • Waar begin je en hoe houd je het doel voor ogen? (Doel wordt gaandeweg vaak uit het oog verloren) • Hoe zien de Eerste stapjes eruit om data kwaliteit te bepalen. Datakwaliteit voor dummy's • Stappenplan om het praktisch toe te passen. • Operationalisatie/ meetbaar maken • Hoe helpt dit de digitale archiveerbaar? • Voorbeelden van verschillende domeinen, zoals sociaal domein, ruimtelijk domein, etc. • tooling meten informatiekwaliteit • Archiefbeeld en beheersbaarheid
- 29. Afsluiting • Kwaliteit is de basis voor alles • Kwaliteit is afhankelijk van de context • We horen graag meer over jouw context • NORA – Wim Stolk ([email protected]) • Omgevingswet – Danny Greefhorst ([email protected])
- 30. Definities kwaliteitsattributen basis (1) Kwaliteitsattribuut Definitie Thematische juistheid De mate waarin kwalitatief beschrijvende gegevens overeenkomen met de werkelijkheid Classificatie juistheid De mate waarin gegevensobjecten zijn geïdentificeerd als het juiste logische objecttype. Dataset compleetheid De mate waarin objecten waarvan het bestaan bekend is aanwezig zijn. Object compleetheid De mate waarin waarden bij gegevensobjecten aanwezig zijn. Overcompleetheid De mate waarin gegevensobjecten niet onterecht aanwezig zijn. Historie compleetheid De mate waarin historische gegevens aanwezig en temporeel dekkend zijn. Metadata compleetheid De mate waarin metadata aanwezig zijn. Formaatvaliditeit De mate waarin gegevens syntactisch correct zijn. Domeinvaliditeit De mate waarin de inhoud van waarden consistent zijn met hun domein. Logische consistentie De mate waarin de combinaties van waarden logisch samenhangend zijn. Referentiële integriteit De mate waarin verwijzingen in gegevens verwijzen naar bestaande gegevens. Identificeerbaarheid De mate waarin gegevens zijn voorzien van een unieke en stabiele identificatie die ook buiten de directe gebruikscontext betekenis heeft.
- 31. Definities kwaliteitsattributen basis (2) Kwaliteitsattribuut Definitie Homogeniteit De mate waarin de gegevens in een dataset gelijksoortig zijn. Updatefrequentie De snelheid waarmee gegevens worden vernieuwd. Versheid De mate waarin gegevens tijdig zijn geactualiseerd. Opslagprecisie De mate waarin gegevens zijn geregistreerd. Authenticiteit De mate waarin de authenticiteit van de bron van de gegevens aantoonbaar is. Reputatie De mate waarin de gegevens worden vertrouwd vanwege de bron. Bewijsbaarheid De mate waarin de juistheid van een gegeven kan worden aangetoond. Herleidbaarheid De mate waarin is vastgelegd wie of wat het gegeven waar, wanneer en op welke manier heeft ingewonnen of bewerkt. Reproduceerbaarheid De mate waarin de transformatieregels die zijn gebruikt om tot de gegevens te komen bekend zijn. Gebruiksinzicht De mate waarin er inzicht is in de gebruikers en hun gebruik. Leesbaarheid De mate waarin teksten voor de doelgroep begrijpelijk zijn geformuleerd.
- 32. Definities kwaliteitsattributen geografie Kwaliteitsattribuut Definitie Positionele juistheid De mate waarin locatiegegevens overeenkomen met de werkelijkheid. Ruimtelijke dekking De mate waarin de gegevens ruimtelijk dekkend zijn. Topologische consistentie De mate waarin ruimtelijke gegevens zich op de juiste wijze tot elkaar verhouden. Geometrische validiteit De mate waarin iedere geometrie voldoet aan geometrische regels. Geometrische precisie De mate van detail waarmee ruimtelijke gegevens worden ingewonnen.
- 33. Definities kwaliteitsattributen statistiek Kwaliteitsattribuut Definitie Kwantitatieve juistheid De mate waarin kwantitatieve gegevens overeenkomen met de werkelijkheid. Statistische precisie De mate waarin metingen of berekeningen bij herhaling dezelfde waarde opleveren. Representativiteit De mate waarin een dataset een goede weergave geeft van het geheel.