Outcome-based Reward Model (ORM) ist ein Verfahren, das ein KI-Modell allein anhand der finalen Antwort bewertet, ohne den Weg dorthin zu prüfen. Stimmt das Ergebnis, gibt es Belohnung. Der Rechenweg, die Argumentation oder die Zwischenschritte spielen keine Rolle.
Diese Herangehensweise hat einen praktischen Vorteil: Sie ist einfach zu trainieren, weil nur das Endergebnis annotiert werden muss und nicht jeder einzelne Zwischenschritt. Für viele Aufgaben reicht das aus, etwa bei einfacher Klassifikation, Textzusammenfassung oder Frage-Antwort-Aufgaben mit klar prüfbarem Resultat. Der Nachteil zeigt sich bei komplexeren, mehrstufigen Aufgaben. Ein Modell kann durch einen fehlerhaften oder sogar erratenen Lösungsweg trotzdem zum richtigen Ergebnis gelangen. Ein Outcome-based Reward Model erkennt diesen Unterschied nicht und belohnt den Zufallstreffer genauso wie eine saubere Herleitung. Über viele Trainingsdurchläufe hinweg kann das dazu führen, dass ein Modell lernt, sich auf plausibel klingende, aber inhaltlich brüchige Argumentationen zu verlassen, solange am Ende die Zahl stimmt.
Abgrenzung
Der Gegenpart ist das Process Reward Model, das jeden Zwischenschritt einzeln bewertet und dadurch auch fehlerhafte Herleitungen mit zufällig richtigem Ergebnis erkennt. Ein Outcome-based Reward Model ist günstiger im Training, ein Process Reward Model liefert das feinere Signal. Beide sind Varianten der Belohnungsfunktion innerhalb eines Reinforcement-Learning-Trainings, nicht das Reinforcement Learning selbst.
SAP B1 10.0 FP2608: Service Layer KI als transaktionalen Schicht
Process Reward Models: Warum ein richtiges Ergebnis noch keinen richtigen Weg beweist
Test-Time Compute Scaling: Warum ein kleineres KI-Modell am Ende gewinnen kann — und was der Lieferantenvergleich in SAP Business One damit zu tun hat
RLHF und Reward-Modelle: KI-Hype oder was der Genehmigungsprozess in SAP Business One damit zu tun hat
KI – Antworten aus SAP Business One – ohne SQL, ohne IT-Ticket
