Data lake y virtualización. Ejes para una arquitectura abierta en big data v6
Descargar como PPTX, PDF•1 recomendación•614 vistas
El documento aborda la transformación digital en el sector bancario, enfatizando cómo la analítica de datos y la virtualización son cruciales para mejorar la productividad y eficiencia. Se destaca la importancia de la arquitectura de data lakes y su integración con tecnologías de virtualización para manejar grandes volúmenes de datos y facilitar la toma de decisiones basadas en datos. Además, se mencionan las predicciones sobre el crecimiento de dispositivos conectados y el impacto de la disrupción tecnológica en diversos sectores.
Data lake y virtualización. Ejes para una arquitectura abierta en big data v6
- 1. Data Lake y Virtualización Ejes para Una Arquitectura Abierta en BIG DATA @JULITOJUL101
- 2. Transformación Digital de BBVA: Caso de Estudio en Harvard http://www.elmundo.es/economia/2015/11/23/5652e567e2704ee57c8b45b4.html • La TECNOLOGIA va a impulsar una enorme mejora de la productividad y la eficiencia en la BANCA • Los BANCOS deben convertirse en organizaciones impulsadas por los DATOS y ofrecer una banca basada en el conocimiento • BBVA es experta en Analítica de DATOS ELMUNDO.ES Francisco Gonzalez Presidente BBVA
- 3. Álvarez-Pallete: Los Datos son el Petroleo del Siglo XXI http://www.iese.edu/es/conoce-iese/prensa-noticias/noticias/2015/julio/alvarez-pallete-datos-son-petroleo-siglo-xxi/ • TODOS los sectores de actividad, se verán afectados por la disrupción tecnológica • El gran potencial de las empresas radicará precisamente en la cantidad de DATOS que sean capaces de GENERAR • Simplificación y Digitalización van de la mano • En 2019, las PERSONAS, al menos, dispondrán de cuatro dispositivos. IESE Business School Jose Maria Alvarez Pallete Presidente Telefonica @jmalvpa
- 4. © Copyright 2017 Dell Inc.4 2 0 2 0 : U N N U E V O M U N D O D I G I T A L PERSONAS CONECTADAS 2.3B 7B 2015 2020 DISPOSITIVOS CONECTADOS 4.9B 30B 2015 2020 DATOS EN EL PLANETA 8ZB 44ZB 2015 2020 3X 6X 5X
- 5. Michael DELL lo tiene claro “Better together” Servers Proveedor de Servidores en Norte America, Sudamerica y China Support No lo decimos nosotros, lo dicen nuestros clientes Data center Proveedor de virtualización en el Data Center (IaaS) Storage Mayor cuota de Mercado Mundial (STaaS) Cloud Proveedor de infrestructura CLOUD 1.000.000 Servidores instalados Innovation Mas inversion en I+D que ningún otro partner tecnológico. $4B al año.
- 6. Echemos un OJO atras en el tiempo… BIG DATA CLARO EJEMPLO DE TRANSFORMACION ACEPTADO MASIFICADO ASENTADO
- 7. DELL EMC y JOHN
- 9. Para finalizar … como ayuda la tecnologia a convertirnos en ciudadanos digitales… haciendo que las compañias se tranformen… y que prediciiones tenemos
- 10. Para finalizar … como ayuda la tecnologia a convertirnos en ciudadanos digitales… haciendo que las compañias se tranformen… y que prediciiones tenemos
- 11. Ecosistema Big Data (PUFFFFFFF) CINCO FASES INGESTA ALMACENAJE ANALIZAR MOSTRAR ACTUAR
- 12. DATA LAKE … ¿Y que hacemos?… SIMPLIFICAR Multiples Tecnologias Convergen en el 90% en Hadoop (HDFS) Multiples Data Analytics Diferentes Departamentos, On Premise me lo llevo a la nube ¿Tiene algo que decir el DATO? Que soy UNICO y Persisto. Que soy de la EMPRESA, no de alguien concreto
- 13. … ¿Y que hacemos?… SIMPLIFICAR VIRTUALIZACIÓN Hay algo que cambia a gran velocidad Las herramientas de Trabajo. SIN DUDA Herramientas, Tecnologias, usuarios y tareas Data scientist, Modelos e hipótesis y necesita proceso Business analyst, queries del negocio sobre modelos/algoritmos definidos Si esto CRECE y CRECE y CRECE???????? ¿Como actualizo, parcheo, balanceo recursos, los optimizo?
- 14. IaaSSaaSIaaS/PaaS HDFS EN ISILON HADOOP EN SCALEIO APLICACIONES DE ANALITICA PLATAFORMA DE DATOS EJECUCIÓN HIVE/GEMFIREPOSTGRESQL IN MEMORY DD.BBCASSANDRA/HBase PROCESO COUCHBASESPRING XD RECOPILACIÓN APLICACIONES Red WebSensor ProveedorRedes sociales Mercado E S T R U C T U R A D O SN O E S T R U C T U R A D O S ERP PLMCRM Arquitectura GENERAL BIG DATA DATA LAKE SDS VIRTUALIZACION IMPALAKAFKA
- 15. DATA LAKE
- 16. El Concepto de DATA LAKE en una SLIDE • Una infraestructura para TODOS los DATOS • Arquitectura SCALE-OUT para absorber decadas de datos. • Que soporte Multiples Aplicaciones y Cargas de Trabajo • Capaz de adaptarse al rendimiento sin impacto • Que tenga Futuro, evolucion (Cloud Enable, IoT)
- 17. Datos Tradicionales Nuevas Fuentes Datos Dispositivos Geolocalización Web Data IoT Docs, emails, Home Directories Server Logs Dato Estructurado y Dato NO Estructurado
- 18. Tres definiciones de Hadoop Hadoop Es un framework de Data Analytics de Apache que premite procesado en paralelo de un conjunto grande de data sets MapReduce Es el proceso de Hadoop que divide la carga de trabajo entre multiples nodos que puedan procesarlo HDFS File system distribuido para los datos. Proporciona disponibilidad y localidad del dato (x3 mirror)
- 19. INGESTA Capturar datos del mayor número de Fuente posibles nuevas y existentes ALMACENAR Almacenar todo en un repositorio común para un análisis cross-data ANALIZAR Usar algoritmos avanzados para descubrir patrones predictivos MOSTRAR Compartir los insights con expertos del negocio ACTUAR Construir aplicaciones data-driven para determinar necesidades del negocio Arquitectura Abierta para BIG DATA DATA LAKE VIRTUALIZACION HDFS WORKER MAP/REDUCE
- 20. Ethernet Arquitectura Cerrada o Arquitectura Abierta NameNode Data Node + Compute Node Data Node + Compute Node Data Node + Compute Node Data Node + Compute Node Data Node + Compute Node Data Node + Compute Node Escalabilidad Disponibilidad Rendimiento Heterogeneidad ¿En Computo, en Capacidad (Triple Mirror), Name Node? Impacto Name Node, No desagregar Map/Reduce de HDFS Movimiento Datos (+Tiempo), Data/Compute Fight, Localidad Dato Clave, Silos de DATOS por Distribución.
- 21. Necesito contaros como funciona un Cluster Hadoop (HDFS) HDFS filefilefilefile MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce Compute Data 3X NFS Name node Decision Support Databases SOCIAL NETWORK OLAP EDW HTTP CIFS FTP NFS Landing Zone Servers Paso 1: Los Datos se Copian en Landing Zone Paso 2: Los Datos se Copian al Cluster (3 times) Paso 3: Hadoop Jobs se ejecutan S3
- 22. Como definimos al DATA LAKE… Home Directories & File SharesSurveillance Next-Gen Application Hadoop & Analytics Transaction Logs BLOBSEDW Content Shares Marketing M&E Social & Next-Gen Archive & Backup Target Data Monetization Design, Test & Manufacture Application Test 22
- 23. Un Repositorio COMUN para TODO… Home Directories & File SharesSurveillance Next-Gen Application Hadoop & Analytics Transaction Logs BLOBSEDW Content Shares Marketing M&E Social & Next-Gen Archive & Backup Target Data Monetization Design, Test & Manufacture Application Test
- 24. Accesible desde CUALQUIER Protocolo… DATA LAKE Home Directories & File SharesSurveillance Next-Gen Application Hadoop & Analytics Transaction Logs BLOBSEDW Content Shares Marketing M&E Social & Next-Gen Archive & Backup Target Data Monetization Design, Test & Manufacture Application Test 24
- 25. DATA LAKE SCALE-OUT SINGLE REPOSITORY MULTI-PROTOCOL / WORKLOAD TIERS ENTERPRISE FEATURES MANAGE PBs ENTERPRISE
- 26. Un único File System en un único BOTE Común Singlevolume Single volume and file system Directorios y ficheros son stripeados a través de todos los nodos del cluster Automatizacón NO se precisa configuracion (IP Balanced) NO se precisa mas que un punto de montaje NO se precisaran nuevas migraciones de datos
- 27. Reparto de los recursos entre los NODOS • Autobalanceo mueve contenido a nuevos nodos añadido online automaticamente • Eliminamos puntos de saturacion, clave en Analítica • Almacenamiento Data Lake usable superior al 80% Empty Empty Empty Empty Empty Full Full Full Full Balanced Balanced Balanced Balanced Balanced Balanceo de la Carga Automatizado entre todos los nodos reduciendo costs, complejidad y riesgos
- 28. No todos los datos tienen la misma criticidad 28 NITRO (FLASH) High Performance S-Series Highly Versatile X-Series Nearline NL-Series Gestión Inteligente de los Datos <30 días S210 > 1 año HD400 >30 días NL410 <30 días Un año
- 29. Arquitectura Abierta = SIMPLE Clientes y Aplicaciones RESTful API GET PUT POST DELETE Conectividad Ethernet 10GbE OneFS (DATA LAKE)Multi-Protocol Client/Application Layer Conectividad Ethernet Protocolos SMBNFS FTPHTTP HDFS for Hadoop REST for Object
- 30. Y todo lo contado Para que??? MEJORAR LOS TIEMPOS DE EJECUCIÓN 17m32s 30m18s 20m50s MEJORAR EL RENDIMIENTO 16m00s 75% Reducción de Tiempos de EJECUCIÓN 45% Reducción en COMPUTO
- 31. Workers con vHadoop, mejoran la Capa Proceso Arquitectura Cerrada (DAS) 55MB/s Node Throughput Compute: 30m 18s Time To Results: 68m 40s Arquitectura Abierta 85MB/s Node Throughput Compute: 16m 00s Time To Results: 16m 00s name node datanode Isilon name node name node name node MAP Reduce MAP Reduce MAP Reduce VIRTUALIZACION DATA LAKE
- 32. VIRTUALIZACIÓN
- 33. Discutamos sobre la nomenclatura Virtualización IaaS Cloud Privada Cloud Publica Cloud Hibrida SDDC SDS SDNPaaS/SaaS SDC
- 34. StorageNetworkingCompute CAPA DE SERVICIOS Definición de Virtualización HYPERVISOR Virtual Machines Virtual Machines Virtual Machines HW x86 HW x86 HW x86 HW x86
- 35. SDN: Software Define Network L2/L3 stack Dell EMC Open Networking SDN Base Controller-less Fabric Servicios Avanzados L2/L3, Automatización Health, Evolución Others RESTful, JSON API AnsibleC APIVMware OpenStack Python Integración L2/L3 stack L2/L3 stack
- 36. SDS: Software Define Storage Servers Network StorageConverged Architecture 200,000 IOPS 20K IOPS20K IOPS20K IOPS20K IOPS20K IOPS20K IOPS 20K IOPS20K IOPS20K IOPS20K IOPS Flash | SSD | HDD | RAID Cache | RAM Bare Metal | KVM | VMware | Hyper-V
- 37. Diferentes Nombres para un mismo proposito Computo Virtualizado (IaaS, Cloud Privada) Eficiencia y simplicidad Contener y reducir costes Coordinar y mejorar la entrega de Servicios Abstraer Automatizar HCI
- 38. Que es Vmware en una SLIDE App Services Insfraest Services VMware vSphere • VMware HA • SRM Continuidad de Negocio • vCPU • Memoria Computo • vSAN • VMDK Almacenamiento • NSX Network • vMOTION • DRS Disponibilidad • Miles VM • Heterogeneo Escalabilidad
- 39. Hacia donde va VMware vRealize Cloud Management vRealize vCloud director vCloud air
- 40. Que es OPENSTACK en una SLIDE Horizon dashboard Swift object store Glance image store Nova compute node Cinder volume service Keystone identity service Heat Orchestration Celiometer telemetry service Trove database Neutron networking S3 EC2 EBS vPC RDSAMI IAMCloud Formation
- 41. Diferentes Nombres para un mismo proposito Siguiente Evolución - IoT EDGE to CORE to CLOUD Velocidad y Agilidad Reducir los tiempos entre la codificación y el paso a producción (DevOps) Computo Virtualizado (IaaS, Cloud Privada) Eficiencia y simplicidad Contener y reducir costes Coordinar y mejorar la entrega de Servicios Abstraer Automatizar HCI
- 43. Scale-out Isilon para un Scale-out en COMPUTO Compute Nodes • Capa Proceso BIG DATA e Isilon son SCALE- OUT • HDFS en Isilon se ejecuta como parallel file system • Cada Nodo de Computo (Map/Reduce) usara TODOs los Nodos de Isilon • Escalabilidad Lineal en Capacidad y en Throughput • Computo y Datos creceran BAJO DEMANDA, Online y 24x7 • 10GbE con SDN permitira “eliminar” la localidad del dato. Isilon Nodes SDN Ethernet
- 44. DATA LAKE + VIRTUALIZACION Scale compute independiente del almacenamiento Alcanzar el rendimiento óptimo balanceado incluso si la carga evoluciona Sin migración de datos, nunca mas! Añadimos nuevo rendimiento con nuevos nodos Nodos Computo WORKER Almacenamiento Rendimiento y Capacidad REQUERIDO Nodos WORKER Requeridos Cual es el resultado de DATA LAKE + VIRTUALIZACION
- 45. SMB, NFS, HTTP, FTP, HDFS Soportamos y Soportaremos cualquier Distribución BIG DATA NFS SMB SMB NFS MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce MAP Reduce VIRTUALIZACION DATA LAKE SDN MAP Reduce MAP Reduce MAP Reduce name node datanode Isilon name node name node name node
- 46. Compartamos Conclusiones VIRTUALIZACION DATA LAKE SDN MAP Reduce MAP Reduce MAP Reduce name node datanode Isilon name node name node name node Escalabilidad garantizada Arquitectura Flexible sin límites Adaptación total al negocio Consolidacion de Analítica SCALE-OUT en Datos y Computo Mayor Disponibilidad y Rendimiento Lineal Optimización de Recursos (TCO) Balanceo de Carga en Proceso y Datos Crecimiento no disruptivo Sin migraciones de datos Repositorio Común de los Datos Heterogeneidad de Soluciones Big Data Prepararados para nuevas “olas” (IoT) Prestaciones predecibles Actualizaciones plug & play Adaptación de configuraciones y prestaciones
- 47. VIRTUALIZACION DATA LAKE DATACENTER En los Proximos 15 Años Todo centrado en el Negocio Aplicaciones Cloud-Native Analítica Prescriptiva Infraestructura Agil Internet of Everything 5