Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering
Sintesi del comunicato stampa
I sistemi di domanda e risposta sui video producono spesso lunghe catene di ragionamento scritte anche quando basterebbe individuare il momento giusto. Dynamic Latent Reasoning (DyLaR) rappresenta le prove visive e, quando serve, il ragionamento aggiuntivo tramite stati latenti compatti anziché testo esteso. Il sistema impara quando rispondere dopo la percezione e quando aggiungere ragionamento. Su nove benchmark e quattro modelli di base, gli autori riportano maggiore accuratezza media con meno di 20 token per domanda; con Qwen3-VL-4B, DyLaR passa da 54,0 a 58,2 e riduce la risposta media da 1.220,7 a 18,5 token.
abstract
Video question answering requires models to ground language queries in visual evidence and, when necessary, reason over that evidence across time. Existing methods typically rely on long textual chain-of-thought rationales, even though many questions can be answered as soon as the relevant object, action, or frame is localized. We propose Dynamic Latent Reasoning (DyLaR), which first grounds a question in a short block of perception latents (continuous hidden states that encode query-relevant visual evidence), and then adaptively decides whether to append reasoning latents (continuous thoughts that reason over this evidence in latent space) before answering. DyLaR learns this behavior by grounding perception latents in verified visual evidence and distilling verified rationales into reasoning latents, followed by reinforcement learning that further refines when to reason. Across nine video benchmarks and four multimodal language model backbones, DyLaR improves average accuracy over same-backbone baselines while generating fewer than 20 tokens per query. On Qwen3-VL-4B, for example, DyLaR improves average accuracy over Qwen3-VL-4B-Thinking from 54.0 to 58.2 while reducing response length from 1,220.7 to 18.5 tokens per query. Ablations further show that grounded perception latents, rationale-supervised reasoning latents, and adaptive routing each improve accuracy.
citazione
@article{xiaperception,
title = {Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering},
author = {Xia, Haotian and Xiao, Zilin and Zou, Junbo and Ordonez, Vicente and Chen, Hanjie},
journal = {arXiv preprint arXiv:2608.04124},
url = {https://arxiv.org/abs/2608.04124},
}
domande, principali contributi e limiti di questo articolo generati automaticamente
Domande a cui questo articolo aiuta a rispondere
- Quale problema affronta DyLaR? Riduce le lunghe tracce testuali usando prima latenti compatti ancorati alle prove visive e aggiungendo ragionamento solo quando serve.
- Come decide se ragionare ancora? Un instradamento adattivo appreso sceglie se rispondere dopo la percezione o aggiungere latenti di ragionamento.
- Quale supervisione usa? Prove visive verificate, ragionamenti verificati distillati e apprendimento per rinforzo per affinare l’instradamento.
- Quali risultati ottiene? Su nove benchmark e quattro backbone migliora l’accuratezza con meno di 20 token; Qwen3-VL-4B passa da 54,0 a 58,2.
Principali contributi
- DyLaR separa percezione rilevante e ragionamento latente opzionale per adattare il calcolo alla domanda.
- L’addestramento combina prove visive, razionali verificati e rinforzo per l’instradamento adattivo.
- Le ablazioni mostrano il contributo di latenti percettivi, latenti di ragionamento e routing.
- La valutazione copre nove benchmark video e quattro backbone multimodali.
Limiti e avvertenze
- La valutazione riguarda il video QA; altre attività multimodali restano da esplorare.
- Le prove e i ragionamenti verificati usati in addestramento potrebbero essere difficili da scalare a nuovi domini.
- Oltre alla lunghezza dell’output, andrebbero misurati latenza, memoria e calcolo visivo.
- I risultati sono da benchmark, ma la coerenza tra backbone sostiene la validità dell’approccio.
Come interpretare questo risultato
DyLaR è un approccio ben supportato per rendere selettivo il ragionamento nel video QA, con risultati solidi e vantaggi di efficienza da confermare in scenari più ampi.