Improving Large Vision and Language Models by Learning from a Panel of Peers

Zusammenfassung der Pressemitteilung

Forschende der Rice University und von Adobe Research haben eine neue Trainingstechnik für KI-Vision-Language-Modelle entwickelt, die den teuren und zeitaufwändigen Prozess der Sammlung von von Menschen beschrifteten Feedback-Daten umgeht. Das System, genannt Panel-of-Peers (PoP), funktioniert, indem es eine kleine Gruppe ähnlicher KI-Modelle zusammenstellt — in diesem Fall drei Varianten des LLaVA-Modells, die auf unterschiedlichen zugrunde liegenden Sprachmodellen aufbauen — und sie die Antworten der jeweils anderen auf visuelle Fragen bewerten lässt, anstatt sich auf menschliche Annotatoren oder ein einzelnes leistungsfähigeres "Lehrer"-Modell zu verlassen. Jedes Modell in der Gruppe generiert Kandidatenantworten auf Bild-Frage-Paare aus einem unbeschrifteten Datensatz, die anderen Modelle bewerten diese Antworten über Dimensionen wie Hilfreichkeit und Korrektheit hinweg, und die daraus resultierenden geordneten Paare werden verwendet, um alle Modelle der Gruppe durch eine dreimal wiederholte iterative Schleife feinabzustimmen. Tests über 15 standardmäßige Vision-Language-Benchmarks hinweg, die Aufgaben vom Lesen von Diagrammen und OCR bis hin zu mathematischem Schlussfolgern und Halluzinationserkennung abdecken, hoben den durchschnittlichen Wert des Modell-Panels von 48 % auf 57 % an — ein Gewinn, der nach Angaben der Forschenden das übersteigt, was vergleichbare Methoden mit von Menschen kuratierten oder maschinell erzeugten Präferenzdaten bei ähnlichem Datenumfang erreicht haben. Das Team zeigte außerdem, dass ein Modell, das absichtlich durch das Entfernen des Großteils seiner OCR-Trainingsdaten geschwächt wurde, diese Fähigkeit wiedererlangen konnte, indem es von Peers lernte, die sie behalten hatten, was nahelegt, dass das Framework spezifische Fähigkeiten zwischen Modellen übertragen kann und nicht nur die allgemeine Leistung verbessert. Die Arbeit ist von Bedeutung, weil die Erzeugung menschlicher Präferenzdaten für multimodale KI nach wie vor kostspielig und schwer zu skalieren ist und Selbstverbesserungsmethoden, die sich auf ein einzelnes Modell stützen, das seine eigenen Ausgaben bewertet, dazu neigen, bestehende Fehler zu verstärken; die Verwendung einer vielfältigen Gruppe von etwa gleich starken Modellen, die sich gegenseitig bewerten, scheint dieses Problem zu verringern, ohne den Zugang zu einem viel größeren, teureren Spitzenmodell als Supervisor zu erfordern.