Chat-crowd: A Dialog-based Platform for Visual Layout Composition

Zusammenfassung der Pressemitteilung

Forscher der University of Virginia und von IBM haben ein Datenerhebungswerkzeug namens Chat-crowd entwickelt, das es Paaren menschlicher Arbeiter ermöglicht, visuelle Layouts durch ein Hin und Her im Gespräch zu rekonstruieren, mit dem Ziel, Trainingsdaten für KI-Systeme zu erzeugen, die räumliche Sprache verstehen müssen. Der Aufbau weist einem Arbeiter die Rolle des "Direktors" zu, der ein Referenzbild mit Formen oder realen Objekten sehen kann, und einem anderen die des "Designers", der eine bearbeitbare Leinwand allein auf Grundlage der Textanweisungen des Direktors manipuliert. Eine bemerkenswerte technische Entscheidung ist, dass die beiden Arbeiter nicht gleichzeitig online sein müssen – verschiedene Personen können mitten im Gespräch eine der beiden Rollen übernehmen, was die Kosten und die Komplexität der per Crowdsourcing durchgeführten Datenerhebung senkt. Das System schleust außerdem synthetische Nachrichten eines Bots ein, um seltenere Gesprächszüge wie Klärungsfragen zu provozieren, und nutzt diese Einschübe, um unauffällig die Qualität der Arbeiter zu bewerten. Beim Testen der Plattform an einfachen geometrischen Formanordnungen und Objektanordnungen aus dem COCO-Bilddatensatz stellten die Forscher fest, dass Direktoren Objekte in über 90 Prozent der Anweisungen zuverlässig anhand von Position, Farbe und Form beschrieben, während Designer nur in etwa 40 Prozent der Fälle Klärungsfragen stellten und die Leinwand meist einfach direkt veränderten. Komplexere Szenen – solche mit sechs bis acht Objekten – erforderten mehr als doppelt so viele Gesprächsrunden zur Fertigstellung wie einfachere, was unterstreicht, wie die Komplexität der Szene den sprachlichen Bedarf antreibt. Die Arbeit ist von Bedeutung, weil Datensätze, die natürliche Sprache mit räumlichem Schlussfolgern verknüpfen, weiterhin selten sind, und Chat-crowd bietet eine praktische, skalierbare Möglichkeit, sie für das Training künftiger Vision-and-Language-KI-Systeme zu erzeugen.