Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering
Résumé du communiqué de presse
Les systèmes de questions-réponses vidéo produisent souvent de longues chaînes de raisonnement écrites alors qu’il suffit parfois de localiser le bon moment. Dynamic Latent Reasoning (DyLaR) représente les preuves visuelles et, si nécessaire, le raisonnement supplémentaire par des états latents compacts plutôt que par un long texte. Le système apprend quand répondre après la perception et quand ajouter une étape de raisonnement. Sur neuf benchmarks et quatre modèles de base, les auteurs annoncent une meilleure précision moyenne avec moins de 20 tokens générés par question ; avec Qwen3-VL-4B, DyLaR fait passer la précision de 54,0 à 58,2 et réduit la réponse moyenne de 1 220,7 à 18,5 tokens.
résumé
Video question answering requires models to ground language queries in visual evidence and, when necessary, reason over that evidence across time. Existing methods typically rely on long textual chain-of-thought rationales, even though many questions can be answered as soon as the relevant object, action, or frame is localized. We propose Dynamic Latent Reasoning (DyLaR), which first grounds a question in a short block of perception latents (continuous hidden states that encode query-relevant visual evidence), and then adaptively decides whether to append reasoning latents (continuous thoughts that reason over this evidence in latent space) before answering. DyLaR learns this behavior by grounding perception latents in verified visual evidence and distilling verified rationales into reasoning latents, followed by reinforcement learning that further refines when to reason. Across nine video benchmarks and four multimodal language model backbones, DyLaR improves average accuracy over same-backbone baselines while generating fewer than 20 tokens per query. On Qwen3-VL-4B, for example, DyLaR improves average accuracy over Qwen3-VL-4B-Thinking from 54.0 to 58.2 while reducing response length from 1,220.7 to 18.5 tokens per query. Ablations further show that grounded perception latents, rationale-supervised reasoning latents, and adaptive routing each improve accuracy.
citation
@article{xiaperception,
title = {Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering},
author = {Xia, Haotian and Xiao, Zilin and Zou, Junbo and Ordonez, Vicente and Chen, Hanjie},
journal = {arXiv preprint arXiv:2608.04124},
url = {https://arxiv.org/abs/2608.04124},
}
questions, principales contributions et limites de cet article générées automatiquement
Questions auxquelles cet article aide à répondre
- Quel problème DyLaR traite-t-il ? Il réduit les longues traces textuelles en ancrant d’abord la question dans des latents compacts de preuves visuelles, puis en ajoutant un raisonnement latent seulement si nécessaire.
- Comment décide-t-il de poursuivre le raisonnement ? Un routage adaptatif appris choisit de répondre après la perception ou d’ajouter des latents de raisonnement.
- Quelle supervision est utilisée ? Les latents perceptifs sont ancrés dans des preuves vérifiées, les latents de raisonnement sont distillés à partir de raisonnements vérifiés, puis le routage est affiné par apprentissage par renforcement.
- Quels résultats sont rapportés ? Sur neuf benchmarks et quatre modèles, DyLaR améliore la précision moyenne avec moins de 20 tokens par requête ; Qwen3-VL-4B passe de 54,0 à 58,2.
Principales contributions
- DyLaR sépare la perception visuelle pertinente du raisonnement latent optionnel afin d’adapter le calcul à chaque question.
- L’entraînement combine preuves visuelles, raisonnements vérifiés et apprentissage par renforcement pour le routage adaptatif.
- Les ablations attribuent des gains aux latents perceptifs ancrés, aux latents de raisonnement supervisés et au routage adaptatif.
- L’évaluation couvre neuf benchmarks vidéo et quatre modèles multimodaux de base.
Limites et mises en garde
- L’évaluation porte sur les questions-réponses vidéo ; d’autres tâches multimodales restent à explorer.
- L’entraînement utilise des preuves et raisonnements vérifiés, dont le passage à l’échelle dans de nouveaux domaines mérite d’être étudié.
- L’efficacité est surtout mesurée par la longueur de sortie ; latence, mémoire et calcul visuel compléteraient l’analyse.
- Les résultats restent fondés sur des benchmarks, mais leur cohérence entre modèles soutient l’intérêt du routage latent.
Comment interpréter ce résultat
DyLaR constitue une approche bien étayée pour rendre le raisonnement en questions-réponses vidéo plus sélectif, avec des résultats solides et des gains d’efficacité à confirmer en déploiement.