2016 ULL Cabildo KEEDIO - Proyecto y Roles Big Data
3 recomendaciones468 vistas
El documento describe los roles y funciones principales en proyectos de Big Data, incluyendo a ingenieros de datos, científicos de datos, arquitectos y gerentes, cada uno con responsabilidades específicas relacionadas con la gestión y análisis de datos. También aborda la importancia de la alineación entre IT y negocio, y cómo las metodologías ágiles, como Scrum, son esenciales en la implementación de proyectos Big Data. Enfatiza que todo lo digitalizable será digitalizado y que la estrategia de datos es fundamental para transformar información en activos.
Más contenido relacionado
La actualidad más candente (20)
Similar a 2016 ULL Cabildo KEEDIO - Proyecto y Roles Big Data (20)
2016 ULL Cabildo KEEDIO - Proyecto y Roles Big Data
- 1. Roles y Proyectos Big Data Daniel Tardón [email protected] @danikeedio
- 2. ROLES EN BIG DATA PRINCIPALES NUEVOS ACTORES EN LOS PROYECTOS BIG DATA
- 3. Solving Big Data Issues ROLES EN BIG DATA Data Engineer Data Scientist Architect DevOps Project/Data Science Manager CDO
- 4. Solving Big Data Issues Principalmente se dedican a la construcción de diferentes elementos como las BBDD, algunos servicios/servidores, los algoritmos que acaban corriendo en producción y se encargan de proporcionar datos para el posterior análisis. Hacen menos de la analítica real – Hecha por el Data Scientist INGENIERO DE DATOS: PERFIL Y TAREAS DATA ENGINEER <trabaja con/mantiene> Arquitectura Big Data Infraestructura Datos HW/SW
- 5. Solving Big Data Issues Analiza, visualiza y comunica los resultados a los Data Managers y otros roles en la organización. DATA SCIENTIST: PERFIL Y TAREAS DATA SCIENTIST Limpieza de Datos Prototipado de Algoritmos Comunicación de los hallazgos Análisis de Datos
- 6. Solving Big Data Issues DATA SCIENTIST: EN BÚSQUEDA DE UNICORNIOS
- 7. Solving Big Data Issues Diseñar basándose en el objetivo final de una infraestructura que está destinada a, garantizar la interoperabilidad sin fisuras entre todos los componentes, coordinar la configuración de los cambios. Conocimiento de administración de sistemas y desarrollo software. ARQUITECTO BIG DATA: PERFIL Y TAREAS ARCHITECT <perspectiva abajo-arriba> GRAN FOTO Diseño de los pipelines de datos: Seleccionar los módulos y herramientas apropiados. ATENCIÓN A LOS DETALLES Consciente de los desafios de integración y los posibles problemas de ajuste en los rendimientos
- 8. Solving Big Data Issues Su nombre viene a raíz de una metodología. Puede jugar un papel de ingeniero de operaciones o como un desarrollador con perspectiva global de sistemas y software juntos. DEVOPS: PERFIL Y TAREAS DevOps Ciclo de vida de la ingeniería del SW OPERACIONES Administración y Sysconfig Integración y QA <Desarrollo Agile>
- 9. Solving Big Data Issues MANAGER: PERFIL Y TAREAS Foto técnica: infraestructura, SW, matemáticas, estadística y ML. Gestión: Objetivos y prioridades, control del proceso global, interfaz con otros departamentos, grupos y clientes. PROJECT/DATA SCIENCE MANAGER <perspectiva global> Gran foto técnica Gestión
- 10. Solving Big Data Issues Gobierno: Calidad del dato, normativa y regulaciones. Estrategia: Convertir la información en ingresos o activos. Es el profesional de más alto rango en la compañía (a nivel de gestión de datos) Normalmente reporta directamente al CEO (Chief Executive Officer) CDO (CHIEF DATA OFFICER): PERFIL Y TAREAS Gobierno del Dato Estrategia alrededor de los datos CDO – CHIEF DATA OFFICER
- 11. Solving Big Data Issues 11Solving Big Data Issues ¿QUÉ PASA EN 1 MINUTO EN INTERNET? Actividad Mundial en Internet en 2016 60SEGUNDOS 69.444 horas visionadas 701.389 logins en Facebook 527.760 fotos compartidas en Snapchat 51.000 descargas desde App Store 2,78 millones de vídeos vistos 972.222 swipes en Tinder 2,4 millones de búsquedas +120 cuentas nuevas de Linkedin 203.596$ en ventas 38.052 horas de música en Spotify 347.222 nuevos tuits 38.194 posts 1.389 carreras 150 millones emails enviados +20,8 millones de mensajes en Whatsapp 1,04 millones de loops en Vine
- 12. Solving Big Data Issues 12 Todo lo que se pueda digitalizar se digitalizará Todo lo que se pueda conectar se conectará Todo lo que se pueda analizar se analizará Solving Big Data Issues
- 13. Solving Big Data Issues 13 IT Y NEGOCIO DEBEN ESTAR ALINEADOS NO PUEDE SER QUE IT SOSTENGA EL NEGOCIO SIN LAS HERRAMIENTAS ADECUADAS IT
- 14. CICLO DEL DATO FASES E INTERACCIÓN ENTRE LOS ROLES 14
- 15. Solving Big Data Issues CICLO DEL DATO 001 101 01 0 1 1 11 1 01 10 i 1. ANALYSIS AND DESIGN 2. PLATAFORM DEPLOYMENT 5. DATA PROCESSING 4. SECURITY DATA GOVERNANCE 3. DATA INGESTION 6. ANALYTICS 7. DATA VISUALIZATION/EXPLOITATION Casos de Uso Estado del Arte Arquitectura Architect Data Scientist DS Manager KEEDIO Data Stack Proveedores Cloud On-Premise Architect Data Engineer DevOps Real Time Batch OpStore (NoSQL) DevOps Data Engineer BI Analytics Machine Learning Analítica Exploratoria Data Scientist Data Engineer BI Tools OLAP Sistemas Externos UI/DevOps Data Scientist Legacy BI Autenticación Trazabilidad Linaje CDO DS Manager Data Engineer DevOps Identificación Recolección Enriquecimiento Data Engineer DevOps Data Scientist
- 16. METODOLOGÍA DIFERENTES APROXIMACIONES PERO SIEMPRE UNA CLAVE: AGILE! 16
- 17. Solving Big Data Issues 17 FASES DE PROYECTO – MODELO CLÁSICO – HITOS BIG DATA
- 19. Solving Big Data Issues 19 CLAVES DE SCRUM
- 20. Solving Big Data Issues 20 SENTIDO COMÚN Y FLEXIBILIDAD SCRUM XTREME PROGRAMMING KANBAN SCRUMBAN MANY MORE… METODOLOGÍAS ÁGILES
- 21. RESUMEN Lo que es Big Data y su futuro La cadena de valor de Big Data Casos de uso – Con éxitos y fracasos Roles de Big Data y el cambio en las organizaciones Cómo lo hacemos: Con una plataforma y metodología
- 22. We’re hiring!
- 24. Calle Virgilio 25 Edificio Ayessa I, Bajo D Pozuelo de Alarcón 28223 Madrid @[email protected] keedio