24 HOP Español - Utilizando cdc para cargar dw on line - Miguel Egea
Descargar como PPTX, PDF0 recomendaciones692 vistas
El documento aborda la implementación de un datawarehouse en tiempo real utilizando Change Data Capture (CDC) para manejar cambios en datos de manera eficiente. Miguel Egea, un experto en SQL Server y BI, presenta distintas tecnologías y metodologías para detectar y gestionar cambios en tiempo real, destacando la importancia del sentido común en su aplicación. Se discuten supuestos sobre el manejo de datos y se presentan demostraciones de configuración y gestión de CDC en integración de datos.
24 HOP Español - Utilizando cdc para cargar dw on line - Miguel Egea
- 1. Datawarehouse en tiempo real con CDC Donde tiempo real quiere decir tiempo razonable Expositor: Miguel Egea MCITP, MCSE Moderador: Freddy Angarita
- 2. Gracias a nuestros auspiciadores Database Security as Easy as A-B-C http://www.greensql.com Hardcore Developer and IT Training http://www.pluralsight.com SQL Server Performance Try PlanExplorer today! http://www.sqlsentry.com
- 3. Próximos SQL Saturday 6 de Diciembre de 2014 https://www.sqlsaturday.com/351/register.aspx 24 de Enero de 2015 https://www.sqlsaturday.com/346/register.aspx 18 de Abril de 2015 https://www.sqlsaturday.com/368/register.aspx 9 de Mayo de 2015 https://www.sqlsaturday.com/373/register.aspx
- 4. Capítulo Global PASS en Español 4 4 Reuniones semanales todos los miércoles a las 12PM UTC-5 (Hora de Colombia) https://www.facebook.com/SpanishPASSVC
- 5. 5 Asistencia Técnica Si requiere asistencia durante la sesión debe usar la sección de preguntas que esta en el menú de la derecha. Use el botón de Zoom para ajustar su pantalla al tamaño deseado Escriba sus preguntas en la sección de preguntas que esta en el menú de la derecha
- 6. 6 Miguel Egea SQL Server MVP desde 2001, trabaja como mentor en SolidQ en el departamento de BI. Es ponente habitual en eventos de comunidad de habla hispana. Apasionado de la tecnología en general y de la relacionada con base de datos en particular. 6
- 7. Datawarehouse en tiempo real con CDC Normalmente se asocia un Datawarehouse con una carga nocturna, pero ¿que pasa si necesitamos dato mucho mas fresco? 7 12/3/2014 | 7 | Footer Goes Here
- 8. Suposiciones sobre conocimientos 8 BI Familiar con DWH y Datamarts Modelado Kimball, Inmon, integración, Dimensiones lentamente cambiantes Miembros inferidos Relacional Funcionamiento del log de transacciones y estructuras básicas de administración de SQL Server
- 9. 9 Tecnologias disponibles Objetivo detectar elementos nuevos, modificados o borrados rápidamente Change Tracking Timestamp columns Change Data Capture Pero no todo es tecnología, muchas veces lo más importante es el sentido común.
- 10. Algunas aristas del problema 10 Detectar cambios es “fácil” Determinar como cambios en tablas individuales afectan a cambios en dimensiones no es tan inmediato ¿Detectar cambios es suficientemente rápido? Aquí es donde la tecnología se pone de nuestro lado… de alguna forma
- 11. ¡Que manía con detectar cambios! 60 millones /año 5 millones/mes 170,000 filas/ dia 11 600.000.00 filas 10 años de datos En un año detectamos 60 M filas 21,000 filas/ hora Para 8 horas de datos ¿Es viable cargar 21,000 filas en una hora? ¿Es viable cargar 350 filas por minuto? ¿Es viable cargar 6 filas por segundo?
- 12. Tecnologías que pueden ayudar 12 Change Tracking • Disponible incluso en Express
- 13. Tecnologías que pueden ayudar II 13 Origen • Algunas veces los propios orígenes ya mantienen historia de cambios Columnas timestamp • El propio origen contiene una columna timestamp Columna fecha • El propio origen tiene una columna de fecha ultima modificación Columnas autoincrementales • Pero solo son útiles para registros nuevos no para modificaciones
- 14. 14 Change Data Capture • Basado en LogReader • Se crean tablas en el esquema CDC • SSIS proporciona componentes manejarlos
- 15. 15 Configurando CDC DEMO
- 16. CDC en Integration Services Demo de valientes… desde el principio 16
- 17. ¿Qué opináis del área de staging? 17 No es necesaria si El origen de datos es solo 1 O son varios pero todos SQL (salvo collation) O no tengo espacio en los discos O no me gusta nada. Es necesario Cuestión de gustos ¿Para mi siempre? Solo si tengo que hacer integración y limpieza
- 18. CDC y SCD2 Sin área de staging • Sobre el copo de nieve Producto-Subcategoría-Categoría ¿Qué supone un cambio en el nombre del producto? 18 Suponemos que todo son SCD2 • Crear una nueva versión de UN producto • Cerrar la versión anterior ¿Qué supone un cambio en subcategoría? • Cerrar la versión de VARIOS productos ¿Qué supone un cambio en Categoría? • Cerrar la versión de MUCHOS productos ¿Qué supone un cambio en más de un atributo? • Supone un LIO MUY GORDO.
- 19. 19 DEMO UN LIO MUY GORDO
- 20. CDC y SCD2 con Staging “SolidQ framework Style” • Siempre usamos área de staging separando E-T-L • Convertir 3 tablas en 1 es una parte de T, en nuestro caso bastante trivial (solo left join) • Los datos desde Origen a STG son expuestos exclusivamente a través de vistas (al esquema STG) • Los datos desde E-T se leen de vistas y se escriben en el esquema ETL de la bbdd de Staging • Los datos de T hasta L se exponen mediante vistas • Hay un conjunto de naming conventions 20 SolidQ Framework significa (muy muy resumido) Mantenemos la relación 1 a 1 • Tabla de productos a.stg Productos, Creamos una vista como toda transformación • El proceso T es bastante simple en este caso Simplemente Ejecutamos el proceso de Carga • Para el ejemplo yo lo voy a hacer “a mano”. Habitualmente lo hacemos de forma automática con nuestras propias herramientas
- 21. 21 Demo Se convierte en algo bastante trivial.
- 22. Preguntas?
- 23. A continuación … El Recetario de Restore Warner Chavez, MCM