FlexEControl: Flexible and Efficient Multimodal Control for Text-to-Image Generation

Zusammenfassung der Pressemitteilung

Forschende der UC Santa Cruz, von Amazon, der UNC Chapel Hill, der Rice University und der UCLA haben eine effizientere Methode entwickelt, KI-Bildgeneratoren mit mehreren Arten visueller Anleitung gleichzeitig zu steuern. Aktuelle Text-zu-Bild-Diffusionsmodelle wie Stable Diffusion lassen sich durch strukturelle Eingaben wie Kantenkarten, Tiefenkarten und Segmentierungskarten lenken, aber das Training dieser steuerbaren Systeme erfordert typischerweise erhebliche Rechenressourcen, die linear ansteigen, je mehr Eingabetypen hinzugefügt werden. Das neue System des Teams, genannt FlexEControl, geht dies an, indem es eine mathematische Technik namens Kronecker-Zerlegung aus der breiteren Literatur des maschinellen Lernens übernimmt und damit eine kompakte Menge gemeinsamer Gewichte erzeugt, die verschiedene Eingabemodalitäten bewältigt, statt für jede separate Parameter zu lernen. Das Ergebnis ist ein Modell, das 41 % weniger trainierbare Parameter und 30 % weniger Speicher als ein führendes vergleichbares System namens UniControlNet verwendet, während es die Trainingszeit pro Iteration von etwa 5,7 Sekunden auf 2,1 Sekunden senkt. Über die reine Effizienz hinaus schneidet FlexEControl auch besser ab, wenn es mehrere widersprüchliche oder redundante Eingaben jongliert — etwa zwei verschiedene Kantenkarten derselben Szene — ein Szenario, in dem bestehende Methoden dazu neigen, verworrene oder inkohärente Bilder zu erzeugen. Die Forschenden erreichten dies, indem sie zwei spezialisierte Trainings-Verlustfunktionen hinzufügten, die das Modell zwingen, auf die richtigen räumlichen Regionen zu achten und seine Ausgaben an den entsprechenden Text-Prompts auszurichten. In menschlichen Bewertungen bevorzugten Annotatoren in 64 % der Fälle die Ausgaben von FlexEControl gegenüber denen von UniControlNet, wenn beide Systeme mehrere Eingaben desselben Typs erhielten. Die Arbeit ist von Bedeutung, weil die Verbilligung steuerbarer Bildgenerierung und ihre verbesserte Fähigkeit, komplexe, gemischte Eingaben zu bewältigen, den Zugang zu diesen Werkzeugen für Entwickler und Forschende mit begrenzten Rechenressourcen spürbar erweitern könnte.