AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation

Zusammenfassung der Pressemitteilung

Forschende der Rice University und von Snap Inc. haben ein System namens AV-Link entwickelt, das synchronisiertes Audio aus stummem Video generieren oder Video passend zu einem gegebenen Audioclip erzeugen kann, und zwar mit einem einzigen einheitlichen Framework statt der separaten spezialisierten Werkzeuge, die dieses Feld dominiert haben. Das Kernproblem, dem sich das Team annahm, ist die zeitliche Ausrichtung — die generierte Ausgabe tatsächlich mit Ereignissen im Quellmaterial zu synchronisieren, sodass beispielsweise ein Trommelschlag genau dann erfolgt, wenn ein Trommelstock auftrifft, statt nur vage nach Trommel zu klingen. Die meisten bestehenden Ansätze stützen sich auf vortrainierte Merkmalsextraktoren wie CLIP oder ImageBind, um semantische Bedeutung aus einer Modalität zu ziehen und sie einem Generator für die andere zuzuführen, aber diese Extraktoren wurden nie mit Blick auf präzises Timing konzipiert. Stattdessen greift AV-Link direkt auf die internen Aktivierungen eingefrorener, vortrainierter Audio- und Video-Diffusionsmodelle zu, von denen die Forschenden feststellten, dass sie als Nebenprodukt des Lernens, zeitlich veränderliche Signale zu generieren, bereits reichhaltige zeitliche Informationen enthalten. Ein leichtgewichtiges Modul namens Fusion Block — das etwa 186 Millionen Parameter zu den eingefrorenen Basismodellen hinzufügt — verbindet die beiden Generatoren über eine gemeinsame Self-Attention-Operation mit einem speziell entworfenen rotatorischen Positions-Embedding, das Audio- und Video-Token am selben zeitlichen Referenzrahmen ausrichtet. Auf dem standardmäßigen VGGSounds-Benchmark verbesserte das System die Onset-Genauigkeit, ein Maß dafür, wie gut Klangereignisse mit visuellen Ereignissen übereinstimmen, um bis zu 76 Prozent gegenüber der besten konkurrierenden Baseline, und in Nutzerstudien wurde es in 63,6 Prozent der Fälle gegenüber Metas viel größerem MovieGen-Audio-Modell für die zeitliche Ausrichtung bevorzugt. Die praktische Bedeutung besteht darin, dass ein einziges kompaktes System Text-zu-Audio-, Text-zu-Video-, Video-zu-Audio- und Audio-zu-Video-Generierung bewältigen könnte, was Produktions-Pipelines für Anwendungen von der automatisierten Filmnachbearbeitung bis hin zu KI-generierten Medien potenziell vereinfacht.