Commonly Uncommon: Semantic Sparsity in Situation Recognition

Zusammenfassung der Pressemitteilung

Forscher der University of Washington und des Allen Institute for Artificial Intelligence haben ein hartnäckiges Problem in der Computer Vision angepackt: Wenn KI-Systeme versuchen, das Geschehen in einem Foto in strukturierten Details zu beschreiben – indem sie nicht nur eine Aktivität wie "tragen" identifizieren, sondern auch, wer trägt, was getragen wird und wo –, neigen sie dazu, zu scheitern, sobald die Szene eine ungewöhnliche Kombination von Objekten und Rollen umfasst. Das Team stellte fest, dass im imSitu-Benchmark-Datensatz etwa 35 Prozent der erforderlichen Vorhersagen Objekt-Rollen-Paarungen umfassen, die während des Trainings weniger als zehnmal gesehen werden, und dass bestehende Modelle genau in diesen Fällen erheblich an Genauigkeit verlieren. Um dies anzugehen, entwickelten die Forscher zwei sich ergänzende Techniken. Erstens entwarfen sie ein neues mathematisches Modell namens kompositionelles Tensorpotenzial, eingebettet in ein Conditional-Random-Field-Framework, das geteilte Repräsentationen von Nomen über verschiedene Rollen hinweg lernt – sodass etwa das Wissen darüber, wie ein "Baby" aussieht, Vorhersagen unabhängig davon beeinflussen kann, ob das Baby als das Getragene oder als die tragende Person erscheint. Zweitens bauten sie eine Pipeline zur semantischen Datenanreicherung auf, die annotierte Trainingssituationen in kurze Textphrasen umwandelt, diese Phrasen nutzt, um etwa fünf Millionen Bilder aus der Google-Bildersuche abzurufen, und die verrauschten Ergebnisse durch Training mit marginaler Likelihood und iteratives Selbsttraining einbezieht. Die Kombination beider Ansätze verbesserte die Top-5-Verb-Genauigkeit um etwa 6 Prozent und die Nomen-Rollen-Genauigkeit um fast 10 Prozent gegenüber dem bisherigen Stand der Technik, mit noch größeren relativen Zugewinnen in den seltenen Fällen, auf die die Arbeit speziell abzielt. Die Ergebnisse sind von Bedeutung, weil semantische Spärlichkeit – zu viele mögliche Ausgabekombinationen, zu wenige Beispiele für die meisten von ihnen – ein weit verbreitetes Hindernis bei strukturierten Aufgaben des visuellen Verstehens ist, und diese Arbeit bietet eine konkrete, skalierbare Strategie, um KI-Systeme zuverlässiger zu machen, wenn sie auf die ungewöhnlichen Situationen treffen, die in der Praxis in der realen Welt durchaus häufig sind.