Drill-down: Interactive Retrieval of Complex Scenes using Natural Language Queries

Tóm tắt thông cáo báo chí

Các nhà nghiên cứu tại University of Virginia và IBM Research đã phát triển một hệ thống gọi là Drill-down, cho phép người dùng tìm ra các ảnh cụ thể bằng cách gõ một loạt các mô tả ngôn ngữ tự nhiên, mỗi mô tả thu hẹp tìm kiếm hơn nữa thay vì cố gắng nắm bắt mọi thứ trong một truy vấn duy nhất. Vấn đề mà họ giải quyết là một vấn đề quen thuộc: các công cụ tìm kiếm ảnh hiện có gặp khó khăn khi một người dùng muốn định vị một bức ảnh rất cụ thể của một cảnh phức tạp chứa nhiều đối tượng, vì việc nhồi nhét toàn bộ một mô tả cảnh vào một câu vừa khó vừa thiếu chính xác. Thay vì ép buộc cách tiếp cận một-lượt đó, Drill-down cho phép người dùng bắt đầu rộng — chẳng hạn, "một nhóm người đang tạo dáng trong một công viên" — và dần dần thêm các chi tiết cụ thể hơn qua vài lượt, chẳng hạn như "có một cô dâu trong số họ", với hệ thống cập nhật các kết quả của nó mỗi lần. Đóng góp kỹ thuật then chốt là một tập gọn nhẹ các vectơ trạng thái lưu trữ và tổ chức lịch sử các truy vấn của một người dùng, với mỗi vectơ học cách theo dõi một phần riêng biệt của cảnh thay vì gộp mọi thứ vào một biểu diễn, đó là cách các hệ thống truy hồi dựa trên hội thoại trước đây hoạt động. Quan trọng là, nhóm phát hiện ra họ có thể huấn luyện mô hình mà không cần thu thập các phiên tìm kiếm được chú thích thủ công đắt đỏ, thay vào đó sử dụng các chú thích vùng ảnh hiện có từ bộ dữ liệu Visual Genome như một sự thay thế rẻ tiền cho các truy vấn thực của người dùng. Các thử nghiệm trên cả người dùng mô phỏng lẫn người dùng thực cho thấy Drill-down vượt trội hơn các phương pháp cạnh tranh trong khi thực sự sử dụng ít bộ nhớ hơn và ít tham số hơn, và hơn 80 phần trăm những người thử nghiệm là con người đã định vị thành công ảnh mục tiêu của họ trong vòng năm lượt. Công trình gợi ý rằng việc chia tìm kiếm ảnh thành một sự qua lại mang tính hội thoại là một con đường thực tiễn để truy hồi các ảnh có độ cụ thể cao trong các bộ sưu tập lớn và đa dạng.