Generación de datos sintéticos (SDG)

Los modelos de IA física permiten a los sistemas autónomos percibir, comprender, interactuar con el mundo físico y navegar por él. Los datos sintéticos son fundamentales para entrenar y probar modelos de IA física.

Los modelos básicos de mundo (WFM) utilizan diversos datos de entrada, entre ellos texto, imágenes, vídeos e información de movimiento, para generar y simular mundos virtuales con una precisión notable.   

Los WFM se caracterizan por sus capacidades de generalización excepcionales, que requieren un ajuste fino mínimo para varias aplicaciones. Sirven como motores cognitivos para robots y vehículos autónomos, aprovechando su comprensión integral de la dinámica del mundo real. Para lograr este nivel de sofisticación, los WFM se basan en una gran cantidad de datos de entrenamiento. 

El desarrollo de WFM se beneficia significativamente de la generación de datos sintéticos infinitos a través de simulaciones físicamente precisas. Este enfoque no solo acelera el proceso de entrenamiento de modelos, sino que también mejora la capacidad de los modelos de generalizar en diversos escenarios. Las técnicas de aleatorización de dominio aumentan aún más este proceso al permitir la manipulación de numerosos parámetros, como la iluminación, el fondo, el color, la ubicación y el entorno, variaciones que serían casi imposibles de capturar de forma integral solo a partir de datos del mundo real. 

El aprendizaje de robots es una colección de algoritmos y metodologías que ayudan a un robot a aprender nuevas habilidades, como manipulación, locomoción y clasificación, en un entorno simulado o del mundo real. El aprendizaje por refuerzo, el aprendizaje de imitación y la política de difusión son las metodologías clave aplicadas para entrenar robots.

Una habilidad importante para los robots es la manipulación: recoger cosas, clasificarlas y montarlas, como se ve en las fábricas. Las demostraciones humanas del mundo real se utilizan normalmente como entrada para el entrenamiento. Sin embargo, la recopilación de un conjunto de datos grande y diverso es bastante costosa.

Para superar este desafío, los desarrolladores pueden utilizar los blueprints de NVIDIA Isaac GR00T-Mimic y GR00T-Dreams, basados en NVIDIA Cosmos™, para producir conjuntos de datos de movimiento sintético de gran tamaño y diversidad para el entrenamiento.

El blueprint de NVIDIA Isaac GR00T-Dreams genera grandes cantidades de datos de trayectoria sintéticos utilizando Cosmos a partir de una única imagen e instrucciones en lenguaje natural. Esto permite a los robots aprender nuevas tareas en entornos desconocidos sin necesidad de datos específicos de teleoperación.

Estos conjuntos de datos se pueden utilizar para entrenar los modelos de base abiertos de Isaac GR00T N dentro de Isaac Lab, lo que permite el razonamiento humanoide generalizado y la adquisición de habilidades robustas.

El software-in-loop (SIL) es una etapa de prueba crucial para robots y vehículos autónomos con tecnología de IA, en la que el software de control se prueba en un entorno simulado en lugar de en hardware real.

Los datos sintéticos generados a partir de simulación garantizan un modelado preciso de la física del mundo real, incluidas las entradas de sensores, la dinámica de actuadores y las interacciones medioambientales. Esto también proporciona una forma de capturar escenarios raros que son peligrosos de recopilar en el mundo real. Esto garantiza que la pila de software del robot en la simulación se comporte como si fuera el robot físico, lo que permite pruebas y validación exhaustivas sin necesidad de hardware físico.  

Mega es un blueprint de Omniverse para desarrollar, probar y optimizar flotas de robots e IA física a escala en un gemelo digital antes de la implementación en instalaciones del mundo real.

Estos robots simulados pueden llevar a cabo tareas percibiendo y razonando en entornos. Son capaces de planificar los movimientos siguientes y luego realizar acciones que se simulan en el gemelo digital. Los datos sintéticos de estas simulaciones se vuelven a introducir en el cerebro de los robots. Los cerebros de los robots perciben los resultados decidiendo la próxima acción y este ciclo continúa con el seguimiento preciso que hace Mega del estado y la posición de todos los activos en el gemelo digital.

Se pueden usar modelos generativos para impulsar y desarrollar los procesos de generación de datos sintéticos. Con los modelos de texto a 3D se pueden crear activos 3D para rellenar escenas de simulación 3D. También se pueden usar modelos de IA generativa de texto a imagen para modificar y enriquecer imágenes existentes mediante procesos de eliminación o ampliación procedural de imágenes, tanto las generadas con simulaciones como las recopiladas del mundo real.

Los modelos de IA generativa de texto a texto, como Evian 2 405B y Nemotron-4 340B, se pueden utilizar para generar datos sintéticos para crear potentes LLM para la atención sanitaria, las finanzas, la ciberseguridad, el comercio minorista y las telecomunicaciones. 

Evian 2 405B y Nemotron-4 340B ofrecen una licencia abierta que otorga a los desarrolladores el derecho a poseer y utilizar los datos que generan sus aplicaciones académicas y comerciales.