Data vault
- 2. Dan LinstedtData modelingAll data, all the timeMethod of designData Vault
- 7. DefinitionThe Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business.7The Data Vault is a detail oriented, historical tracking and uniquely linked set of normalized tables that support one or more functional areas of business.8-12-2010
- 10. Uniquely linked set normalized tables108-12-2010
- 11. Functional areas of business118-12-2010
- 12. 8-12-201012But there are more aspects…..
- 20. Conventional architectureCurrent Business Demands/WishesIntegrationStoragePresentationDWHTRANSFORMSTAGEBusiness Information Model
- 21. Modern architectureIntegrationStoragePresentationStorageCurrent Business Demands/WishesSTAGEsourceDWHbusinessDWHTRANSFORMALL DATA, ALL THE TIMECurrent Business Information Model
- 22. Is geplaatst onder/betreftwerkdagBestellingopBusinessInformationModelOntvangt/Is geplaatst bijheeftomvangVerplicht tot/Is realisatie vanLeverancierBestaat uit/zit inLeveringsconditiesIs bereid te leveren/kan geleverd worden doorLeveringBestaat uit/komt voor inMateriaalsoortVoorziet in/wordt in voorzien doorwerkdagomvangKomt voor inmetMoet in voorzien worden voorWordt ontvangen door/ontvangtBestaat uitMateriaalbehoeftemagazijnBetreft de bereidhied tot het levereren aan een/kan conform worden geleverd aanMagazijn
- 23. Architecture (detail)238-12-2010Frond endPatientDatamartsPatientBusiness DatavaultPatientRaw Datavault 1Raw Datavault 2Raw Datavault nKNA1PatientCustomerReplicatielaagBron nBron 2Bron 1KNA1CustomerPatient
- 24. Architecture (Advanced)Enterprise Service Bus (Biztalk/Cloverleaf/SOA)248-12-2010Frond end toolsDatamartsDatavaultBron nBron 1Bron 2
- 25. BenefitsManage and enforce Compliance (SOX, HIPPA en BASEL II).Reduces Business cycle time.Enabling Master Data management.CMM Level 5 compliant.Repeatable, consistent and redundant.Trace all data back to source systems.Flexibility.Scalability.Consistent.Adaptable.Possible automatic generation of the DDL and ETL.Supports VLDBDesigned for EDW258-12-2010
- 27. Hub278-12-2010HubRepresents the business key.A surrogate key as the primary key.Load date timestamp (when did it get there?)Record source (where did it come from?)Patient_IDPatient_KeyPatient_CodePatient_NamePatient_DescPatient_CategoryPatient_SubCategoryPatient_AddressPatient_GenderPatient_CodeLoad_DateRecord_SourceHub_PatientPatient
- 28. Satellite288-12-2010SatelliteDescriptive items of a hub or a linkA surrogate key as the primary key.Load date timestamp (when did it get there?)Record source (where did it come from?)Patient_KeyLoad_DatePatient_IDPatient_KeyLoad_DatePatient_KeyLoad_DatePatient_CodePatient_NamePatient_DescPatient_CategoryPatient_SubCategoryPatient_AddressPatient_GenderPatient_NamePatient_DescPatient_CategoryPatient_SubCategoryPatient_AddressPatient_GenderPatient_NamePatient_DescPatient_AddressPatient_GenderPatient_CategoryPatient_SubCategorySAT_PatientSAT_PatientCategorySAT_PatientPatient
- 29. LinkLinks two or more hubsOwn surogate key.Keys from the hubLoad date time stampRecord source298-12-2010LinkPatient_KeyTreat_KeyTreatment_KeyHub_PatientPatient_KeyTreat_KeyLoad_DateRecord_SourcePatient_CodeLoad_DateRecord_SourceTreat_CodeLoad_DateRecord_SourceHub_TreatLink_Treatment
- 33. 8-12-201033DatavaultPoint in Time views (PIT).‘truth’ at a certain moment.Helper table?Bridge.Same as Point in Time but then a range.
Editor's Notes
- #2: Kern punten :Data Vault schema vergelijkbaar met eenneuralenetwerk.Neuronen,dendriten en synapses.Worden gemaakt en vernietigdwanneerditnodig is (vawegerelaties die ontstaan of ernietmeerzijn)Neuronenzijn Hubs en Hub SatellietenLinks zijn de dendritesAndere links zijn de synapses (vectors in the opposite direction). Conclusie:
- #3: Compliance AuditabilityFlexibilityTraceabilityDDL and ETL generated.
- #4: Kern punten :Conclusie:
- #7: DWH is gereedschapkistvoor BIFinancieeldirecteur is nietgeinteresseerd in ETL
- #8: Kern punten :Spreek voor zich.Conclusie:
- #9: Kern punten :Lowest granularity.Atomic level.No aggregation.Details omdat je business rules op nieuw kunnen genereren als de inzichten in een organisatie kan veranderen.Als we het niet doen en je laad data geaggregeerd dan mis detail informatie.Conclusie:
- #10: Kern punten :LineageConclusie:
- #11: Kern punten :Spreek voor zich.Conclusie:
- #12: Kern punten :Spreek voor zich.Conclusie:
- #14: Kern punten :Spreek voor zich.Conclusie:
- #15: Kern punten :Alle data moet traceerbaar zijn.Conclusie:
- #17: Near real time dataOperational datawarehouse
- #20: Kern punten :Conclusie:
- #21: Information model close to the business.When information model close to the source systems you need to modify or rewrite complete ETL, DDL, etc.
- #24: Kern punten :Naamgeving business vault voor business herkenbaar.Vraaggestuurd. Alleenelementen die gebruiktwordenvolgens businessBusiness key integratie (unieke business keys) (overeenkomstige business keys).Geendirecterapporten op de Raw datavault en Business datavault.Conclusie:
- #25: Kern punten :Conclusie:
- #26: Kern punten :Conclusie:
- #27: Kern punten :Elegante modelleer techniek met een minimum van een aantal componenten: Hub, Link en Satellite.Hub representing the primary key. The Link Entities provide transaction integration between the Hubs. The Satellite Entities provide the context of the Hub primary key. Conclusie:
- #28: Kern punten :Spreek voor zich.Conclusie:
- #29: Kern punten :Historisch perpectiefChanging over timeHieruit kunnen we allerlei dimensies opbouwen met TYPE 1, 2 of 3Mogelijk om Load date time stamp, load end date time stamp en record source toe te voegen.Voor elke rij in de hub een satellite record. Waarom? Vanwege inner joining.Conclusie:
- #30: Kern punten :Een patient wordt op een bepaald moment behandeldAls er meer informatie bij een behandeling hoort dan moet er een extra satellite bij de link tabel worden opgenomen.Het is mogelijkomelke hub, satellite en satellites parallel telaten laden.Hoge mate van parallelismemogelijk.Conclusie:
- #31: Kern punten :Spreek voor zich.Conclusie:
- #32: Kern punten :Spreek voor zich.Conclusie:
- #33: Kern punten :Spreek voor zich.Conclusie: