AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation

Tóm tắt thông cáo báo chí

Các nhà nghiên cứu từ Rice University và Snap Inc. đã phát triển một hệ thống tên là AV-Link, có thể sinh âm thanh được đồng bộ từ video câm, hoặc sinh video để khớp với một đoạn âm thanh cho trước, bằng cách dùng một framework hợp nhất duy nhất thay vì các công cụ chuyên dụng riêng biệt vốn đã thống trị lĩnh vực này. Vấn đề cốt lõi mà nhóm giải quyết là sự căn chỉnh về thời gian — khiến đầu ra được sinh ra thực sự đồng bộ với các sự kiện trong nguồn gốc, sao cho, chẳng hạn, một tiếng trống vang lên đúng lúc dùi trống đập xuống, thay vì chỉ nghe lờ mờ giống tiếng trống. Hầu hết các cách tiếp cận hiện có dựa vào các bộ trích xuất đặc trưng đã tiền huấn luyện như CLIP hoặc ImageBind để rút ý nghĩa ngữ nghĩa từ một phương thức và đưa nó vào một bộ sinh cho phương thức kia, nhưng các bộ trích xuất này chưa bao giờ được thiết kế với sự quan tâm đến căn thời gian chặt chẽ. Thay vào đó, AV-Link kết nối trực tiếp vào các kích hoạt nội tại của các mô hình diffusion âm thanh và video đã được đóng băng, tiền huấn luyện, mà các nhà nghiên cứu nhận thấy vốn đã chứa thông tin thời gian phong phú như một sản phẩm phụ của việc học sinh ra các tín hiệu biến thiên theo thời gian. Một mô-đun nhẹ tên là Fusion Block — bổ sung khoảng 186 triệu tham số lên trên các mô hình nền đã đóng băng — kết nối hai bộ sinh thông qua một phép self-attention chung với một rotary position embedding được thiết kế đặc biệt nhằm căn chỉnh các token âm thanh và video về cùng một khung tham chiếu thời gian. Trên benchmark VGGSounds tiêu chuẩn, hệ thống cải thiện độ chính xác khởi đầu (onset accuracy), một thước đo về mức độ các sự kiện âm thanh khớp với các sự kiện thị giác, lên tới 76 phần trăm so với baseline cạnh tranh tốt nhất, và trong các nghiên cứu người dùng, nó được ưa chuộng hơn mô hình MovieGen Audio lớn hơn nhiều của Meta về căn chỉnh thời gian trong 63,6 phần trăm số lần. Ý nghĩa thực tiễn là một hệ thống nhỏ gọn duy nhất có thể xử lý sinh văn-bản-sang-âm-thanh, văn-bản-sang-video, video-sang-âm-thanh và âm-thanh-sang-video, có khả năng đơn giản hóa các quy trình sản xuất cho các ứng dụng từ hậu kỳ phim tự động đến truyền thông được tạo bởi AI.