SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation
Zusammenfassung der Pressemitteilung
Forscher der Rice University haben SoftmaxGRPO vorgestellt, eine kleine, aber prinzipiengeleitete Änderung an einem weit verbreiteten Rezept des bestärkenden Lernens für das Post-Training von Large Language Models. Die Methode adressiert eine bekannte Schwäche von GRPO, dem gruppenbasierten Ziel, das zum Standard geworden ist, um Modellen das Schlussfolgern beizubringen: Wenn Belohnungen einfach richtig-oder-falsch sind, leitet GRPOs gruppeninterne Normalisierung einen unverhältnismäßig großen Anteil des Lernsignals in Prompts, die das Modell bereits lösen kann, und verschwendet so Aufwand dort, wo es wenig zu lernen gibt. Dieses Problem ist am gravierendsten in Szenarien ohne günstige automatische Bewerter, etwa bei der Zusammenfassung oder beim kreativen Schreiben, wo das Training auf schwache Textüberlappungswerte angewiesen ist. SoftmaxGRPO ist ein einzeiliger Drop-in-Ersatz, der GRPOs z-score-Gruppenvorteile durch temperaturskalierte softmax-Gewichte ersetzt, die beschränkt bleiben, egal wie einfach ein Prompt ist. Die Autoren untermauern die Änderung mit Theorie, leiten die exakte Zielfunktion her, die sie für binäre Belohnungen optimiert, und zeigen, wie eine Temperatureinstellung die Methode fließend zwischen REINFORCE-artigem und Maximum-Likelihood-artigem Verhalten verschiebt, während sie zugleich aufzeigen, wo solche Garantien für komplexere Belohnungsskalen nicht mehr gelten. In Experimenten, in denen ein Qwen2.5-Modell mit 1.5 Milliarden Parametern unter identischen Bedingungen feinabgestimmt wurde, verlagerte SoftmaxGRPO das Gradientenbudget messbar weg von nahezu gelösten Prompts (auf GSM8K verwendete es 10 Prozent seines Budgets auf bereits einfache Prompts gegenüber GRPOs 36 Prozent) und übertraf GRPO durchgängig bei denselben Belohnungen. Es erreichte 51.8 Prozent auf dem DeepMath-Benchmark mit verifizierbaren Belohnungen und steigerte einen Poetry-Schreibwert von 35.0 auf 68.0 unter alleiniger Verwendung leichtgewichtiger Ähnlichkeitsbelohnungen, und es führte jeden einzelnen von fünf nicht verifizierbaren Benchmarks an, die Zusammenfassung, Instruktionsbefolgung und Allgemeinwissen umfassen.
Zitation
@inproceedings{hernandez2026softmaxgrpo,
title = {SoftmaxGRPO: Learning to Reason using Softmax Advantage Group Estimation},
author = {Hernandez, Jefferson and Koo, Jaywon and Xiao, Zilin and Wei, Chen and Ordonez, Vicente},
year = {2026},
booktitle = {Confererence on Language Modeling (COLM), 2026},
url = {https://arxiv.org/abs/2608.09271},
}
automatisch generierte Fragen, wichtigste Beiträge und Grenzen dieses Artikels
Fragen, die dieser Artikel beantworten hilft
- Was ist SoftmaxGRPO und welches Problem adressiert es? SoftmaxGRPO (Softmax Advantage Group Estimation) ist ein Drop-in-Ersatz für die GRPO-Zielfunktion des bestärkenden Lernens, der z-score-normalisierte Gruppenvorteile durch temperaturskalierte softmax-Vorteile ersetzt; es adressiert GRPOs Tendenz, unter binären Belohnungen das Gradientensignal auf einfache, bereits gelöste Prompts zu konzentrieren, indem es die Gewichtung pro Prompt über alle Schwierigkeitsstufen hinweg beschränkt hält.
- Wie verändert SoftmaxGRPO das Update konkret? Bei M Rollouts pro Prompt mit Belohnungen r_i bildet es gruppeninterne Gewichte w_i proportional zu exp(r_i / tau) und zentrierte Vorteile A_i = M * w_i - 1, wobei die Temperatur tau steuert, wie stark Belohnungsunterschiede in Gewichte umgesetzt werden; in der Praxis wird es mit dem üblichen PPO-Clipping und einer KL-Strafe zu einem Referenzmodell optimiert.
- Welche theoretischen Garantien liefert die Arbeit? Für binäre Belohnungen im on-policy-Regime ohne Clipping leitet sie eine exakte Zielfunktion für endliche Gruppen mit beschränkter Prompt-Gewichtung her und identifiziert MaxRL als deren Grenzfall bei niedriger Temperatur, und für beschränkte skalare Belohnungen zeigt sie, dass das Update für große Gruppen exakt eine Zielfunktion auf Basis der logarithmischen momenterzeugenden Funktion optimiert, während sie beweist, dass es kein universelles skalares Analogon für endliche Gruppen gibt, sobald es drei oder mehr Belohnungsstufen gibt.
- Wie stark verbessert sich SoftmaxGRPO empirisch gegenüber GRPO? Unter identischen schwachen Ähnlichkeitsbelohnungen verbessert es sich gegenüber GRPO um +7.0 Punkte auf GSM8K, +3.3 auf Countdown und +1.2 auf DeepMath, erreicht 51.8 Prozent auf DeepMath mit exakten Verifizierer-Belohnungen und steigert den Poetry-Wert eines 1.5B-Modells von 35.0 auf 68.0, während es alle fünf getesteten nicht verifizierbaren Benchmarks anführt.
- Verändert SoftmaxGRPO, wo das Modell seinen Lernaufwand investiert? Ja; eine Messung der Gradientenzuweisung zeigt, dass GRPO 36.4 Prozent seines GSM8K-Gradientenbudgets nahezu gelösten Prompts zuweist (Erfolgsrate bei oder über 0.9) gegenüber 10.0 Prozent bei SoftmaxGRPO, was die vorhergesagte Umverteilung hin zu schwierigeren Beispielen mit mehr Verbesserungsspielraum bestätigt.
Wichtigste Beiträge
- Führt SoftmaxGRPO ein, einen einzeiligen Drop-in-Ersatz für GRPO, der z-score-Gruppenvorteile durch temperaturskalierte softmax-Gruppenvorteile ersetzt und die Gewichtung nach Prompt-Schwierigkeit bei allen Erfolgsraten beschränkt hält.
- Leitet die exakte, durch die Methode induzierte Zielfunktion für endliche Gruppen bei binären Belohnungen her, etabliert MaxRL als deren Grenzfall bei niedriger Temperatur und beweist eine exakte Zielfunktion für große Gruppen bei beschränkten skalaren Belohnungen.
- Zeigt eine scharfe theoretische Grenze: Bei drei oder mehr Belohnungsstufen existiert ohne zusätzliche Annahmen über die Belohnungsverteilung keine universelle skalare Zielfunktion für endliche Gruppen.
- Demonstriert anhand eines kontrollierten ImageNet-Experiments, dass SoftmaxGRPO mit genügend Rollouts das exakte Maximum-Likelihood-Training (Kreuzentropie) eng nachbildet, wo REINFORCE bei niedrigen anfänglichen Erfolgsraten keine Fortschritte erzielt.
- Liefert direkte Messungen dafür, dass SoftmaxGRPO das Gradientenbudget weg von nahezu gelösten Prompts umverteilt und GRPO unter identischen Belohnungen sowohl bei verifizierbaren als auch bei nicht verifizierbaren Aufgaben durchgängig übertrifft.
Grenzen und Vorbehalte
- Das exakte Theorem für endliche Gruppen ist für binäre Belohnungen unter on-policy-Optimierung ohne Clipping bewiesen, sodass die Übertragung derselben Garantien auf reichhaltigere Belohnungsstrukturen eine naheliegende Richtung für zukünftige Arbeiten darstellt.
- Das Ergebnis für skalare Belohnungen ist asymptotisch in der Gruppengröße, und die Arbeit zeigt sorgfältig, dass das Update für endliche Gruppen im Allgemeinen nicht konservativ ist, sobald Belohnungen drei oder mehr Stufen annehmen, was nützlich klärt, wo eine saubere Zielfunktion erwartet werden kann und wo nicht.
- Der praktische Algorithmus nutzt PPO-Clipping und KL-Regularisierung zu einem Referenzmodell, was die Autoren als Trust-Region-Approximation der exakten on-policy-Zielfunktion einordnen und nicht als Teil des Theorems selbst.
- Die Hauptauswertungen konzentrieren sich auf ein Modell mit 1.5 Milliarden Parametern, sodass eine Validierung in größerem Maßstab helfen würde zu bestätigen, wie sich die beobachteten Zugewinne auf größere Modelle übertragen.
- Nicht verifizierbare Ergebnisse beruhen auf unvollkommenen Textüberlappungsbelohnungen und einer LLM-as-a-judge-Evaluation, und die Leistung reagiert empfindlich auf den Temperatur-Hyperparameter, sodass die aktuelle Auswertung Raum lässt, adaptive Temperaturauswahl und reichhaltigere prozessbezogene Belohnungen zu erproben.
Wie dieses Ergebnis zu lesen ist
Diese Arbeit lässt sich am besten als theoretisch fundierte und empirisch validierte Verfeinerung von GRPO lesen, die einen konkreten Fehler darin behebt, wie das Lernsignal über die Prompt-Schwierigkeit verteilt wird, und mit einer einzeiligen Änderung durchgängige Zugewinne sowohl bei verifizierbaren als auch bei schwach überwachten Aufgaben liefert, während sie lobenswert explizit ist, dass ihre schärfsten Garantien für binäre Belohnungen im untersuchten 1.5B-Maßstab gelten.