LLM as a Judge bezeichnet den Einsatz eines leistungsstarken Sprachmodells als automatischer Bewerter, der Antworten von KI-Systemen anstelle von Menschen beurteilt. Der typische Einsatz ist die Bewertung von Chat-Assistenten bei offenen Fragen.
Warum ein Modell bewertet
Menschliche Bewertung gilt als Goldstandard. Sie ist aber langsam und teuer. Regelbasierte Programme und Ähnlichkeitsmaße versagen dagegen bei offenen Fragen ohne Referenzantwort. Ein Sprachmodell als Bewerter schließt diese Lücke. In Untersuchungen stimmte ein starkes Modell als Bewerter zu über 80 % mit menschlichen Präferenzen überein. Das entspricht dem Niveau, auf dem Menschen untereinander übereinstimmen.
Drei Bewertungsformen
Beim paarweisen Vergleich entscheidet das Modell, welche von zwei Antworten besser ist, oder es erklärt ein Unentschieden. Bei der Einzelbewertung vergibt es eine Punktzahl, etwa auf einer Skala von 1 bis 10. Bei der referenzgeführten Bewertung steht eine Musterlösung im Prompt, zum Beispiel bei Mathematikaufgaben.
Schwächen und Gegenmaßnahmen
Ein Modell als Bewerter urteilt nicht neutral. Es bevorzugt häufig die zuerst genannte Antwort (Positions-Verzerrung). Es bevorzugt längere Antworten, auch ohne Mehrwert (Ausführlichkeits-Verzerrung). Möglicherweise bevorzugt es auch eigene Antworten. Dieser Effekt ließ sich wegen geringer Datenmenge allerdings nicht sicher feststellen. Zudem hat der Bewerter begrenzte Rechen- und Logikfähigkeiten: Falsche Antworten im Kontext können ihn in die Irre führen.
Dagegen helfen mehrere Maßnahmen. Man tauscht die Reihenfolge der Antworten und erklärt nur dann einen Sieger, wenn beide Reihenfolgen dasselbe Ergebnis liefern. Beispielbewertungen im Prompt (Few-Shot) geben dem Bewerter Orientierung. Löst der Bewerter die Aufgabe zuerst selbst oder erhält er eine Referenzantwort, sinkt seine Fehlerquote bei Mathefragen von 70 % auf 15 %. Außerdem lässt sich ein eigenes Bewertermodell feinabstimmen.
Rolle in KI-Agenten
Language Agent Tree Search (LATS) nutzt Bewertungsfunktionen, die ein Sprachmodell stützt. In der Evaluation-Phase erhält jede neu entstandene Aktion einen Bewertungswert. Dieser Wert setzt sich aus einer Modell-Einschätzung (LLM as a Judge) und der Häufigkeit ähnlicher Aktionen zusammen.
Bezug zu SAP Business One
Übersteigt in SAP Business One die Bestellmenge eines Kundenauftrags den verfügbaren Bestand, blendet die Verfügbarkeitsprüfung mehrere Lösungsoptionen ein. Das System bewertet diese Optionen nicht und markiert keine als die beste. Die Evaluation-Phase von LATS würde genau das mit einem Bewertungswert tun. In SAP Business One bleibt diese Bewertung beim Anwender.
Abgrenzung
LLM as a Judge bewertet Antworten, statt sie zu erzeugen. Im Unterschied zu Ähnlichkeitsmaßen braucht das Verfahren nicht zwingend eine Referenzantwort. Die menschliche Bewertung ersetzt es nicht als Maßstab: Seine Güte zeigt sich an der Übereinstimmung mit menschlichen Präferenzen.
Sprint und Swirl: Wie ein KI-Agent Arbeit aufteilt und aus Probeläufen lernt
LATS: Mehrere Wege gleichzeitig durchdenkt mit KI — und die Verfügbarkeitsprüfung in SAP B1
ReAct und RLEF: Wie Künstliche Intelligenz aus echten Fehlern lernt — und was der automatische Bankabgleich in SAP Business One damit zu tun hat
SAP B1 10.0 FP2608: Service Layer KI als transaktionalen Schicht
Process Reward Models: Warum ein richtiges Ergebnis noch keinen richtigen Weg beweist
