Deep Feature Aggregation and Image Re-ranking with Heat Diffusion for Image Retrieval

Tóm tắt thông cáo báo chí

Các nhà nghiên cứu tại Xi'an Jiaotong University và University of Virginia đã phát triển một hệ thống tìm kiếm ảnh mới mượn một khái niệm từ vật lý — khuếch tán nhiệt — để làm cho các công cụ tìm kiếm thị giác chính xác và hiệu quả hơn. Vấn đề cốt lõi mà họ giải quyết là các hệ thống truy hồi ảnh tiêu chuẩn có thể bị đánh lạc hướng bởi các mẫu thị giác lặp lại, chẳng hạn các hàng cửa sổ giống hệt nhau trên mặt tiền của một tòa nhà, vốn làm ngập hệ thống bằng thông tin dư thừa và khiến việc xác định điều gì thực sự đặc trưng cho một ảnh trở nên khó khăn hơn. Để khắc phục điều này, nhóm đã coi mỗi đặc trưng cục bộ được trích xuất từ một mạng nơ-ron tích chập như một nguồn nhiệt, rồi dùng toán học của khuếch tán nhiệt để đo mức độ "bùng nổ" hoặc lặp lại của đặc trưng đó — các đặc trưng lan tỏa nhiệt rộng rãi qua một mạng các láng giềng tương tự được gắn cờ là dư thừa, trong khi các đặc trưng cô lập tạo ra ít truyền nhiệt được coi là đặc trưng hơn. Hệ thống sau đó gán trọng số cho các đặc trưng tương ứng trước khi kết hợp chúng thành một bộ mô tả ảnh gọn nhẹ duy nhất. Nguyên lý khuếch tán nhiệt tương tự cũng được áp dụng ở cấp độ ảnh, nơi một ảnh truy vấn đóng vai trò là nguồn nhiệt và sự ấm áp mà nó lan tỏa đến các ảnh cơ sở dữ liệu ứng viên được dùng để xếp hạng lại các kết quả tìm kiếm. Khi kiểm tra trên các benchmark tiêu chuẩn bao gồm các bộ dữ liệu Oxford Buildings và Paris, cách tiếp cận đã vượt trội các phương pháp cạnh tranh, trong một số trường hợp cải thiện độ chính xác truy hồi hơn năm điểm phần trăm trên các bộ dữ liệu quy mô lớn, trong khi vẫn chạy đủ nhanh để sử dụng thực tế — tất cả mà không cần bất kỳ dữ liệu huấn luyện được gán nhãn bổ sung nào.