SimVQA: Exploring Simulated Environments for Visual Question Answering.

Tóm tắt thông cáo báo chí

Các nhà nghiên cứu từ Rice University, MIT-IBM Watson AI Lab và University of Virginia đã tìm ra một cách sử dụng hình ảnh tổng hợp do máy tính tạo ra để dạy các hệ thống trả lời câu hỏi trực quan (VQA) những kỹ năng mà chúng khó học được chỉ từ các bức ảnh thực tế. Vấn đề cốt lõi mà nhóm giải quyết là việc xây dựng các bộ dữ liệu VQA lớn từ ảnh thực rất tốn kém, làm dấy lên lo ngại về quyền riêng tư, và giới hạn sự đa dạng của các kịch bản mà một mô hình có thể học được. Để khắc phục điều này, các nhà nghiên cứu đã xây dựng hai bộ dữ liệu tổng hợp mới — Hypersim-VQA và ThreeDWorld-VQA — bằng cách mở rộng một bộ dữ liệu cảnh 3D chân thực hiện có và sử dụng một nền tảng mô phỏng vật lý để tự động tạo ra các ảnh được ghép cặp với các tập câu hỏi-câu trả lời bao trùm đếm, màu sắc, sự tồn tại của đối tượng, và các quan hệ không gian. Các thí nghiệm của họ cho thấy một mô hình VQA được huấn luyện hoàn toàn không có câu hỏi đếm từ dữ liệu thực vẫn có thể học đếm các đối tượng trong ảnh thực khi chỉ được cung cấp các ví dụ đếm tổng hợp trong quá trình huấn luyện, chứng minh sự chuyển giao có ý nghĩa qua khoảng cách trực quan đáng kể giữa ảnh được dựng hình và ảnh chụp. Nhóm cũng đã phát triển một kỹ thuật gọi là Feature Swapping (F-SWAP), né tránh các cách tiếp cận thích ứng miền truyền thống như huấn luyện đối kháng (adversarial training) bằng cách chỉ đơn giản hoán đổi các biểu diễn đặc trưng ở cấp độ đối tượng giữa ảnh thực và ảnh tổng hợp trong quá trình huấn luyện. Phương pháp này vượt trội hơn các giải pháp thay thế phức tạp hơn, bao gồm thích ứng miền đối kháng và căn chỉnh Maximum Mean Discrepancy, trong khi tránh được sự bất ổn định liên quan đến huấn luyện sinh đối kháng. Công trình này quan trọng vì nó cung cấp một con đường tương đối ít tốn kém, an toàn về quyền riêng tư để mở rộng dữ liệu huấn luyện AI và gợi ý rằng các môi trường tổng hợp có thể đóng một vai trò thiết thực trong việc lấp đầy các khoảng trống trong các bộ dữ liệu thực tế cho các hệ thống AI đa phương thức.