2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».
Descargar como PDF, PPTX0 recomendaciones26 vistas
Este documento presenta un proceso mejorado para evaluar juegos serios aplicando técnicas de analíticas de aprendizaje y minería de datos. Se describe un proceso de evaluación basado en evidencias que incluye la recolección de datos de interacción mediante el perfil xAPI-SG, análisis de datos, modelos predictivos y despliegue del juego. Se estudian dos casos: el juego First Aid Game, donde se predice el conocimiento final con alta precisión usando solo las interacciones; y Conectado, donde también se logra pre
Más contenido relacionado
Similar a 2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos». (20)
2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».
- 1. XII Jornadas eMadrid: «Educación 4.0» 30 de junio de 2022 Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos Cristina Alonso Fernández Tesis doctoral dirigida por Baltasar Fernández Manjón, Manuel Freire Morán e Iván Martínez Ortiz
- 2. Índice 01 03 04 02 Introducción Proceso de evaluación Casos de estudio Conclusiones 2
- 3. Introducción 01 Juegos Serios Evaluación Analíticas de Aprendizaje
- 4. Juegos que no tienen como objetivo principal entretener ➔ Enseñar ➔ Crear concienciación ➔ Cambiar actitud Juegos Serios exploración libre y segura feedback y adaptación interactivo e interesante progreso y terminación motivación, aprendizaje activo 4
- 5. Experimentos pre-post ➔ Validación formal del juego ➔ Evaluación de los jugadores Inconvenientes: ➔ Cuestionarios previamente validados ➔ Aumento esfuerzo y tiempo ➔ Evaluación realizada fuera del entorno de aprendizaje Alternativa: stealth assessment Evaluación de juegos serios y jugadores 5
- 6. Analíticas de Aprendizaje para Juegos Game Learning Analytics: combinación de los objetivos de Learning Analytics con las técnicas de Game Analytics en el contexto de Juegos Serios 6
- 7. Recolección de datos de juegos: xAPI-SG El Perfil de Experience API para Juegos Serios (xAPI-SG) define verbos, tipos de actividad y extensiones usados en juegos serios. ➔ Completables ➔ Accessibles ➔ Alternatives ➔ GameObjects Simplifica recolección, análisis, integración con otros sistemas... 7 xAPI estándar IEEE https://adlnet.gov/news/2021/10/20/IEEE-to-Stan dardize-xAPI-v2.0-as-an-International-Standard/
- 8. Proceso de evaluación 02 Validación del juego Recolección interacciones Análisis de los datos Modelos predictivos Despliegue del juego
- 9. Proceso de evaluación: validación del juego 9 1. Recogida de datos GLA en xAPI-SG
- 10. 10 Proceso de evaluación: validación del juego 2. Análisis de los datos Variables GLA por defecto con xAPI-SG
- 11. Análisis y visualizaciones por defecto (independientes de juego) Ayudar en la selección de variables GLA T-MON: monitor de trazas xAPI-SG 11 https://github.com/e-ucm/t-mon
- 12. 12 Proceso de evaluación: validación del juego 3. Modelos de predicción Variable objetivo aprendizaje (post-pre) Modelos xAI
- 13. 13 Proceso de evaluación: despliegue del juego
- 14. Casos de estudio 03 First Aid Game Conectado
- 15. Simulación para enseñar maniobras de reanimación cardiopulmonar en 3 casos: 1. Dolor torácico 2. Inconsciencia 3. Atragantamiento Juego previamente validado en colegios y con grupo de control (2012) Objetivo: predecir conocimiento final (post-test) ➔ Comparando modelos con y sin pre-test (pre+game vs game-only) First Aid Game: el juego 15
- 16. 227 estudiantes de 12-17 años de un colegio de Madrid ➔ Pre-post validados ➔ Datos de interacción (xAPI-SG) First Aid Game: datos recogidos 16 ➔ Variables GLA
- 17. ➔ Alta precisión en los modelos predictivos ● Juegos similares con estructura narrativa ➔ Interacciones son suficientes para predecir aprendizaje ➔ Recogida de interacciones guiada por diseño educativo del juego ● Beneficios del uso de xAPI-SG First Aid Game: predicciones y resultados 17 Mejores resultados con pre-test, pero solo con interacciones modelos suficientemente precisos
- 18. Juego para aumentar concienciación de acoso y ciberacoso. 1era persona como nuevo estudiante en un colegio durante 5 días de juego: ➔ acoso en colegio ➔ ciberacoso en casa 3 finales posibles según las decisiones tomadas Juego validado en colegios (2020) Objetivo: predecir aumento de concienciación (diferencia entre pre y post) Conectado: el juego 18
- 19. 1109 estudiantes de 12-17 años de 11 colegios de España ➔ Pre-post validados ➔ Datos de interacción (xAPI-SG) Conectado: datos recogidos 19 ➔ Variables GLA
- 20. Conectado: predicciones y resultados 20 Mayoría de modelos con precisión similar Más impacto en aprendizaje: final del juego e interacciones con otros personajes ➔ Alta precisión en distinto contexto ● Predicción de aumento de concienciación ● Mayor conjunto de datos y distintos modelos ➔ Beneficios de uso de xAPI-SG ● Simplificar recogida, procesamiento y análisis ● Apoyo selección de variables de GLA
- 21. Conclusiones 04
- 22. ➔ Proceso de evaluación basado en evidencias ○ Utilizando estándar xAPI-SG ○ Herramienta de apoyo T-MON visualizaciones por defecto ➔ Casos de estudio ejemplificando proceso completo: Limitaciones ➔ Estructura casi lineal de los juegos ➔ Modelos predictivos creados ad-hoc y xAI ➔ xAPI-SG puede omitir información dependiente de juego Conclusiones 22 diseño educativo y diseño de juego recogida de datos de interacción definición de variables GLA modelos predictivos
- 23. ➔ Juegos para educar en igualdad de género ○ Estudio de las propuestas actuales ○ Nuevos juegos para combatir estereotipos ● Juego “La entrevista” desarrollado ➔ Juegos geolocalizados utilizando uAdventure ○ Analíticas integradas ○ Extensión del perfil xAPI-SG ○ Nuevos análisis y visualizaciones en T-MON ➔ Integración con SIMVA ○ Simplificar experimentos ○ Datos recogidos: pre-post e interacciones Trabajo futuro 23
- 24. ● Proceso de evaluación: ● Caso de estudio First Aid Game: ● Caso de estudio Conectado: ● T-MON: Referencias 24 Cristina Alonso-Fernández, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón: Improving evidence-based assessment of players using serious games. Telematics and Informatics (2021). DOI: 10.1016/j.tele.2021.101583. Cristina Alonso-Fernández, Iván Martínez-Ortiz, Rafael Caballero, Manuel Freire, Baltasar Fernández-Manjón: Predicting students’ knowledge after playing a serious game based on learning analytics data: A case study. Journal of Computer Assisted Learning (2020). DOI: 10.1111/jcal.12405. Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón: Evidence-based evaluation of a serious game to increase bullying awareness. Interactive Learning Environments (2020). DOI: 10.1080/10494820.2020.1799031. Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón: Data science meets standardized game learning analytics. IEEE Global Engineering Education Conference (EDUCON), 2021.