ConStruct-VL: Data-Free Continual Structured VL Concepts Learning.

Resumen de prensa

Investigadores del MIT-IBM Watson AI Lab, Georgia Tech, la Universidad Rice, IBM Research y Stanford han abordado un problema práctico pero poco explorado de los grandes modelos de IA de visión y lenguaje: estos sistemas tienden a tener dificultades para comprender conceptos relacionales y descriptivos matizados —como los colores, tamaños, posiciones espaciales y estados de los objetos—, y cuando los ingenieros intentan corregir una de estas debilidades ajustando el modelo con nuevos datos, el modelo tiende a olvidar cómo manejar las debilidades corregidas previamente, un fenómeno conocido como olvido catastrófico. La situación se complica por el hecho de que los datos utilizados para identificar y corregir cada problema suelen ser privados y no pueden conservarse ni reutilizarse entre rondas de entrenamiento. Para abordar esto, el equipo creó ConStruct-VL, el primer benchmark diseñado específicamente para evaluar el aprendizaje continuo de estos conceptos visuales-lingüísticos estructurados sin acceso a los datos de tareas anteriores y sin ninguna pista en el momento de la prueba sobre qué tipo de concepto se está evaluando. También desarrollaron dos contribuciones técnicas complementarias: una arquitectura Layered-LoRA (LaLo) que apila módulos adaptadores ligeros y de bajo rango sobre un modelo base congelado para cada nueva tarea, lo que permite que el sistema acceda eficientemente al modelo de cualquier tarea previa durante el entrenamiento sin recargar pesos; y un método de Adversarial Pseudo-Replay (APR) que utiliza esos modelos pasados para generar ejemplos de entrenamiento negativos engañosos —por ejemplo, alterando sutilmente una descripción de texto para incluir una palabra de color incoherente con la imagen emparejada—, que luego se usan para recordarle al modelo actual lo que aprendió previamente. Probado en el modelo de visión y lenguaje BLIP a través de múltiples secuencias de tareas extraídas de los conjuntos de datos Visual Genome y Visual Attributes in the Wild, el enfoque combinado redujo el olvido promedio aproximadamente cinco veces y mejoró la precisión final hasta en 6.8 puntos porcentuales en comparación con los mejores métodos competidores de aprendizaje continuo sin datos, usando solo alrededor del 2.8 por ciento de los parámetros del modelo completo —resultados que importan porque sugieren una vía viable para parchear continuamente modelos de IA en despliegues del mundo real sensibles a la privacidad sin degradar las mejoras anteriores.