プレスリリース要約
動画質問応答システムは、正しい場面を見つけるだけで答えられる場合でも、長い文章の推論過程を生成しがちです。Dynamic Latent Reasoning（DyLaR）は、視覚的証拠と必要に応じた追加推論を、長文ではなくコンパクトな潜在状態で表現します。知覚後にそのまま答えるか、推論を追加するかを学習します。9つのベンチマークと4つの基盤モデルで、1問当たり20 token未満の出力に抑えつつ平均精度を改善し、Qwen3-VL-4Bでは精度を54.0から58.2へ、平均応答長を1,220.7から18.5 tokenへ改善しました。
要旨
Video question answering requires models to ground language queries in visual evidence and, when necessary, reason over that evidence across time. Existing methods typically rely on long textual chain-of-thought rationales, even though many questions can be answered as soon as the relevant object, action, or frame is localized. We propose Dynamic Latent Reasoning (DyLaR), which first grounds a question in a short block of perception latents (continuous hidden states that encode query-relevant visual evidence), and then adaptively decides whether to append reasoning latents (continuous thoughts that reason over this evidence in latent space) before answering. DyLaR learns this behavior by grounding perception latents in verified visual evidence and distilling verified rationales into reasoning latents, followed by reinforcement learning that further refines when to reason. Across nine video benchmarks and four multimodal language model backbones, DyLaR improves average accuracy over same-backbone baselines while generating fewer than 20 tokens per query. On Qwen3-VL-4B, for example, DyLaR improves average accuracy over Qwen3-VL-4B-Thinking from 54.0 to 58.2 while reducing response length from 1,220.7 to 18.5 tokens per query. Ablations further show that grounded perception latents, rationale-supervised reasoning latents, and adaptive routing each improve accuracy.
引用
@article{xiaperception,
title = {Perception Before Reasoning: Dynamic Latent Reasoning for Video Understanding and Question Answering},
author = {Xia, Haotian and Xiao, Zilin and Zou, Junbo and Ordonez, Vicente and Chen, Hanjie},
journal = {arXiv preprint arXiv:2608.04124},
url = {https://arxiv.org/abs/2608.04124},
}
この論文について自動生成された質問、主な貢献、および限界
この論文が答える助けとなる質問
- DyLaRは何を解決しますか？質問をコンパクトな視覚証拠の潜在表現に結び付け、必要な場合だけ潜在推論を加えることで長い文章推論を減らします。
- 追加推論はどう判断しますか？学習した適応的ルーティングが、知覚後に回答するか潜在推論を追加するかを選びます。
- どのような教師信号を使いますか？検証済み視覚証拠、検証済み根拠から蒸留した推論潜在表現、ルーティングを磨く強化学習です。
- 結果はどうですか？9ベンチマークと4基盤モデルで20 token未満のまま精度を改善し、Qwen3-VL-4Bは54.0から58.2になりました。
主な貢献
- 質問に関連する視覚知覚と任意の潜在推論を分離し、計算量を質問ごとに調整します。
- 視覚証拠、検証済み根拠、適応的ルーティングの強化学習を組み合わせます。
- アブレーションにより知覚潜在表現、推論潜在表現、ルーティングの各効果を示します。
- 9つの動画ベンチマークと4つのマルチモーダル基盤モデルで評価します。
限界と注意点
- 評価は動画質問応答が中心で、他のマルチモーダル課題は今後の検証対象です。
- 検証済み証拠と根拠を新領域へ拡張する方法はさらに検討できます。
- 出力長に加え、遅延、メモリ、視覚計算量の測定も有用です。
- ベンチマーク中心ですが、複数モデルで一貫した改善は有望な証拠です。
この結果の読み解き方
DyLaRは動画質問応答で推論を選択的に使うための根拠ある方法であり、強いベンチマーク結果と今後検証すべき効率上の可能性を示します。