Mejora el Rendimiento y la Gobernanza de tus Datos con un Data Fabric Lógico
Descargar como PDF, PPTX0 recomendaciones172 vistas
El documento detalla cómo el 'data fabric' lógico mejora la gobernanza y el rendimiento de los datos en las empresas, facilitando el acceso controlado y gobernado para los usuarios de negocio. Se aborda la importancia de implementar políticas de gobernanza de datos para asegurar la calidad, seguridad y cumplimiento regulatorio, integrando catálogos de gobierno y herramientas avanzadas. Además, se presentan casos de clientes y se destaca el papel del 'data marketplace' de Denodo como un recurso para que los usuarios encuentren y accedan a datos relevantes.
Más contenido relacionado
Similar a Mejora el Rendimiento y la Gobernanza de tus Datos con un Data Fabric Lógico (20)
Mejora el Rendimiento y la Gobernanza de tus Datos con un Data Fabric Lógico
- 2. Mejora el rendimiento y la gobernanza de tus datos con un Data Fabric Lógico Dr. Anastasio Molano SVP Technology and Solutions - Denodo ¿Cómo facilitar datos a los usuarios de negocio de una forma gobernada?
- 3. Agenda • ¿Porqué es necesario gobernar los datos? • Arquitecturas lógicas de provisión de datos: la arquitectura Data Fabric • Cómo facilitar el Gobierno de los Datos mediante un Data Fabric • Integración con Catálogos de Gobierno: Arquitectura de Referencia • El Catálogo de Denodo (Self-service / Data Marketplace) • Casos de Clientes
- 4. 4 ¿Porqué es necesario el Gobierno de los datos?
- 5. 5 Datos de calidad, confiables y sujetos a regulaciones Gobierno a nivel empresarial, seguridad, regulaciones • Las empresas persiguen explotar sus datos como activos valiosos, definiendo políticas de Data Governance • Consistencia en la semántica y calidad de los datos entregados • Datos confiables para generar mejores insights para el negocio • Garantías de cumplimiento de las políticas de seguridad, minimizar riesgos • Muchas regulaciones a nivel mundial: GDPR, HIPAA, FISMA, etc. ¿Solución? Herramientas de Data Governance. Sistemas documentales estáticos, separados de la entrega de datos → quedan obsoletos fácilmente, no garantizan per se el uso de las políticas, no entregan datos a los usuarios
- 6. 6 Arquitecturas Lógicas de Provisión de Datos: la arquitectura Data Fabric
- 7. 7 Logical Data Fabric Relational / OLTP EDWs Data Lakes Web Services Cloud Data Stores Streaming Data IoT Repositorios de Datos Unified Data Model Unified Governance and Security Abstraction Layer LDAP Active Directory Cache Data Science Machine Learning Enterprise Applications Mobile Applications Business Intelligence Partner Apps. El Data Fabric como arquitectura lógica
- 8. 8 Relational / OLTP EDWs Data Lakes Web Services Cloud Data Stores Streaming Data IoT Repositorios de Datos LDAP Active Directory Cache Data Services SQL REST OData GraphQL Product Party Customer Employee Location Data Science Machine Learning Enterprise Applications Mobile Applications Business Intelligence Partner Apps. Arquitectura Logical Data Fabric
- 9. 9 Cómo un Data Fabric lógico facilita el gobierno de datos
- 10. 10 Propuesta de Valor El Data Fabric Lógico acelera el Gobierno de Datos Datos on-premises y en la nube, combinados mediante la misma capa de gobierno Quién accede a qué datos, cuándo y mediante qué consultas Menor número de copias de datos. Trazabilidad (lineage) disponible para copias Único punto de entrada para garantizar las políticas de gobierno y seguridad Única fuente de Verdad / Vistas Canónicas
- 11. 11 Entrega de Datos según Modelos de Datos pre-definidos
- 12. 12 Denodo – Modelado y diseño “Top-Down” https://community.denodo.com/docs/html/document/denodoconnects/8.0/en/Denodo%20Model%20Bridge%20-%20User%20Manual
- 13. 13 Interface Views – Importación de Data Modeling tools Denodo Model Bridge • Denodo Model Bridge permite importar modelos de datos de herramientas de modelado y de formatos de datos estándar ▪ SAP PowerDesigner, ER/Studio, Erwin, IBM Infosphere Data Architect ▪ RDF Schema (RDFS), Web Ontology Language (OWL)
- 14. 14 Aplicación de Reglas y Políticas de Seguridad Globales
- 15. 15 Vistas de Datos en la capa de Virtualización Base Layer Original source models Semantic and business Layer Logical DW model Reporting Layer (optional) Pre-canned reports with calculated metrics Integration Layer Combine and transform the base entities Data Service Layer (optional) Web Services Layer
- 16. 16 Privilegios de acceso basados en roles
- 17. 17 Semantica – Capa Unificada de Gobierno y Seguridad • Políticas de gobierno y seguridad para todas las fuentes y para todos los consumidores • Definición de políticas de seguridad y enmascaramiento utilizando tags/terms: ▪ Independiente de las fuentes ▪ Más fácil gestion y menos propenso a errores ▪ E.g mask the #SSN with *** for HR and Finance • Integración con Data Governance Tools para importar tags/terms y políticas de gobierno
- 18. 18 Descripción de la Política Roles afectados por esta política Etiquetas afectadas por esta política Regla de enmascaramiento de datos
- 19. 19 Integración con Catálogos de Gobierno: Arquitectura de Referencia
- 20. Data Assets Data Lineage Data Assets/ Lineage Data Assets / Lineage Governance Policies & Rules Metadata Catalog Data Governance (Rules / Policies) Data Governance / Data Control Plane Data Stewards / CDO Reporting Data Science Data Catalog / Data Marketplace Sqoop ETL / ELT CDC Kafka / Flume Raw Data Zone EDW Data Lake Logical Data Fabric / Data Virtualization Layer Compliance Views Logistic Views Finance Views Marketing Views Universal Catalog of Data Services Data Sources Cloud / On Prem Business Applications IoT Staging Area Curated Data Zone Core DWH Model iPaaS Business Users Data Analysts Data Delivery / Data Access Plane Data Scientists Streaming Data Data Virtualization layer: Enforcement of governance rules and policies DG tool: definition and documentation of governance rules and policies Reference Architecture – Data Virtualization vs Data Governance
- 21. 21 Catálogos de Gobierno – Patrones de Integración • La herramienta de Data Governance ingesta los metadatos de Denodo mediante API • Case 1: The Data Governance tool gets access to Denodo metadata through the available APIs (JDBC to collect metadata information about views, etc. and Stored Procedures to collect view dependencies and lineage information) DATA VIRTUALIZATION JDBC Denodo Stored Procedures (VIEW_DEPENDENCIES, COLUMN_DEPENDENCIES, etc.)
- 22. 22 Collibra – Denodo (mediante el driver JDBC de Denodo)
- 23. 23 Collibra – Denodo (mediante la integración Spring Boot) Spring Boot Integration Compatibility • Collibra Cloud • Collibra 5.7.5 and newer • Spring Boot Framework • Eclipse IDE
- 24. 24 Informatica – Denodo Data Scanner Company Proprietary and Confidential The Denodo custom scanner officially released to their marketplace: User guide Website Link Community Link Informatica Blog Post
- 25. 25 Catálogos de Gobierno – Patrones de Integración (II) • Los metadatos de Denodo se ingestan en una herramienta de Data Governance • Case 2: Using Denodo Governance Bridge (developed by Denodo Labs), this is the approach taken with IBM IGC.
- 26. 26 Denodo Governance Bridge para IBM IGC
- 27. 27 Catálogos de Gobierno – herramientas soportadas • Denodo is supported in: • Collibra, IBM IGC, Informatica, Alation, Erwin, Talend DG, Oracle Metadata Management, OvalEdge, Hitachi Vantara, Anjana Data
- 29. Data Assets Data Lineage Data Assets/ Lineage Data Assets / Lineage Governance Policies & Rules Metadata Catalog Data Governance (Rules / Policies) Data Governance / Data Control Plane Data Stewards / CDO Reporting Data Science Data Catalog / Data Marketplace Sqoop ETL / ELT CDC Kafka / Flume Raw Data Zone EDW Data Lake Logical Data Fabric / Data Virtualization Layer Compliance Views Logistic Views Finance Views Marketing Views Universal Catalog of Data Services Data Sources Cloud / On Prem Business Applications IoT Staging Area Curated Data Zone Core DWH Model iPaaS Business Users Data Analysts Data Delivery / Data Access Plane Data Scientists Streaming Data Data Virtualization layer: Enforcement of governance rules and policies DG tool: definition and documentation of governance rules and policies Reference Architecture – Data Virtualization vs Data Governance
- 30. Data Assets Data Lineage Data Assets/ Lineage Data Assets / Lineage Governance Policies & Rules Metadata Catalog Data Governance (Rules / Policies) Data Governance / Data Control Plane Data Stewards / CDO Reporting Data Science Data Catalog / Data Marketplace Sqoop ETL / ELT CDC Kafka / Flume Raw Data Zone EDW Data Lake Logical Data Fabric / Data Virtualization Layer Compliance Views Logistic Views Finance Views Marketing Views Universal Catalog of Data Services Data Sources Cloud / On Prem Business Applications IoT Staging Area Curated Data Zone Core DWH Model iPaaS Business Users Data Analysts Data Delivery / Data Access Plane Data Scientists Streaming Data Data Virtualization layer: Enforcement of governance rules and policies DG tool: definition and documentation of governance rules and policies Reference Architecture – Data Virtualization vs Data Governance Data Governance Catalog Denodo Data Catalog
- 31. #DenodoDataFest Data Catalog: un Data Marketplace para negocio Data Marketplace en el que los usuarios de negocio y los científicos de datos pueden identificar datos útiles para su análisis, analizarlos y acceder a ellos con conexión directa a la fábrica de datos Utiliza metadatos activos para guiar el proceso de descubrimiento de datos
- 32. #DenodoDataFest Data Catalog: proceso de descubrimiento guiado Recomendaciones personalizadas y enlaces directos a los data sets más utilizados Endorsements y ranking MY RECOMENDATIONS
- 33. #DenodoDataFest Data Catalog: colaboración Collaborative Features: • Endorsements • Deprecation Notices • Warning Messages • Tags and others
- 34. 34 Denodo Data Catalog: Relaciones entre los datos
- 35. 35 Denodo Data Catalog: Preparación de datos
- 36. 36 Denodo Data Catalog: Data Lineage
- 41. 41 Conclusiones
- 42. 42 ▪ Conclusiones ▪ El Data Fabric juega un papel clave en el gobierno de los datos como un punto centralizado en donde aplicar las reglas y políticas de gobierno ▪ La Fabrica de Datos y los Catálogos de Gobierno son totalmente complementarios: ▪ El usuario puede definir y documentar las políticas de gobierno en un catálogo de gobierno ▪ La Fabrica de datos puede aplicar dichas políticas en la capa de delivery de datos ▪ El Catálogo de Denodo representa un marketplace de datos para usuarios de negocio y complementa a Catálogos de Gobierno (enfocados a data stewards y CDOs) ▪ Denodo mantiene partenariados tecnológicos con herramientas de gobierno líderes en el mercado
- 43. Q&A
- 44. Thanks! www.denodo.com [email protected] © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.