Process Reward Model
Process Reward Model (PRM) ist ein Verfahren, mit dem ein KI-Modell nicht nur für ein richtiges Endergebnis belohnt wird, sondern für jeden einzelnen Schritt auf dem Weg dorthin. Ein PRM bewertet den Rechen- oder Argumentationsweg eines Modells Schritt für Schritt und prüft, ob jede Zwischenüberlegung schlüssig ist.
Der Hintergrund: Modelle, die komplexe Aufgaben in mehreren Schritten lösen, kommen manchmal zufällig zu einem richtigen Ergebnis, obwohl der Lösungsweg fehlerhaft war. Ein reines Endergebnis-Training würde diesen Zufallstreffer belohnen und damit falsches Vorgehen verstärken. Ein Process Reward Model setzt genau hier an. Es fungiert während der Antwortgenerierung als eine Art Gutachter, der einzelne Denkschritte prüft, verwirft oder bestätigt. So lassen sich Modelle trainieren, die nicht nur zum richtigen Ergebnis kommen, sondern auf einem nachvollziehbaren Weg dorthin.
Praktisch relevant wird das bei mehrstufigem Reasoning, etwa bei mathematischen Aufgaben, Programmcode-Generierung oder komplexen Auswertungen, bei denen ein einzelner Fehler in einem Zwischenschritt das gesamte Ergebnis kippen kann. Ein sauber trainiertes PRM erhöht die Nachvollziehbarkeit solcher Modelle und verringert das Risiko, dass ein Modell aus falschen Gründen zum passenden Ergebnis gelangt.
Abgrenzung
Ein Process Reward Model unterscheidet sich vom Outcome-based Reward Model, das ausschließlich das Endresultat bewertet und Zwischenschritte ignoriert. Prozessbewertung ist aufwendiger, weil jeder Schritt einzeln annotiert oder bewertet werden muss, liefert dafür aber ein feineres und robusteres Trainingssignal. Mit klassischem Reinforcement Learning im engeren Sinn ist ein Process Reward Model nicht gleichzusetzen. Es ist ein Baustein innerhalb eines Reinforcement-Learning-Trainings, konkret die Belohnungsfunktion, nicht der gesamte Lernprozess.
KI im Arbeitsalltag: So finden Sie den richtigen Start
KI-Assistent trifft SAP Business One: Zwei Wege aus dem Versino KI-Shop
Sprint und Swirl: Wie ein KI-Agent Arbeit aufteilt und aus Probeläufen lernt
LATS: Mehrere Wege gleichzeitig durchdenkt mit KI — und die Verfügbarkeitsprüfung in SAP B1
ReAct und RLEF: Wie Künstliche Intelligenz aus echten Fehlern lernt — und was der automatische Bankabgleich in SAP Business One damit zu tun hat
