SAP B1 Blog

Diese Reihe nimmt fortlaufend einzelne KI-Grundbegriffe und Methoden wie die Process Reward Model unter die Lupe .Die vorige Folge hat sich mit einem nüchternen Befund beschäftigt: Erzeugen ist billig, Prüfen ist der eigentliche Engpass. Ein System kann in kurzer Zeit tausende Antwortkandidaten erzeugen, die eigentliche Arbeit beginnt erst danach, wenn unter diesen Kandidaten die richtige Antwort gefunden werden muss. Diese Folge geht diesem Prüfschritt weiter auf den Grund. Und sie stellt die naheliegende Anschlussfrage: Wonach entscheidet ein System eigentlich, welche von mehreren erzeugten Antworten die richtige ist? Reicht dafür der bloße Blick auf das Endergebnis, oder braucht es einen genaueren Blick auf den Weg dorthin?

Weiterlesen: Process Reward Models: Warum ein richtiges Ergebnis noch keinen richtigen Weg beweist

Die erste Folge dieser Reihe nutzte den Genehmigungsprozess als Beispiel, diese Folge wählt ein zweites, verwandtes Beispiel.

Wenn das Endergebnis einer Kalkulation, einer Rechnung oder eines mühsamen Kontenabschlusses stimmt, gilt die Sache im mittelständischen Betrieb üblicherweise als erledigt. Man klappt beruhigt den Laptop zu und widmet sich dem nächsten Stapel.

Soweit die ideale Welt. In der gelebten Praxis beweist eine richtige Endzahl jedoch rein gar nichts über den Weg dorthin. Nicht selten heben sich zwei dicke Rechenfehler in der Mitte einer Kalkulation einfach gegenseitig auf, und am Ende steht trotzdem die korrekte Summe im Feld. Wer ausschließlich das Endergebnis kontrolliert, übersieht solche Fehler systematisch. Das gilt für das Kopfrechnen in der Schule ebenso wie für ein Künstliche Intelligenz (KI)-System.

Die Gefahr der „überzeugend falschen Antwort“

In der Verifikationsforschung hat sich für diesen tückischen Fall ein eigener Begriff etabliert: die „convincing wrong answer“ – die überzeugend falsche Antwort. Gemeint ist eine Lösung, die am Schluss zwar die richtige Zahl ausgibt, deren Rechenweg aber an mindestens einer Stelle fehlerhaft ist. Ein klassischer Prüfmechanismus, der nur das Endergebnis am Ende des Belegs misst, kann diese Fälle nicht von echten Treffern unterscheiden. Er hält beide für richtig, weil er ausschließlich am Schluss misst.

Für Unternehmen und CFOs, die KI-gestützte Auswertungen im eigenen Zahlenwerk erwägen, ist das weit mehr als eine akademische Feinheit. Eine KI kann am Ende zwar die richtige Kennzahl nennen, ohne jedoch den korrekten Rechenweg dorthin genommen zu haben. Ob man dem Ergebnis bei der nächsten, leicht abweichenden Aufgabe noch vertrauen kann, entscheidet sich genau daran. Wer sich allein auf das Endergebnis verlässt, verlässt sich auf den Zufall.

Zwei Wege der Qualitätskontrolle: Ziel oder Prozess

Die erste Generation von KI-Prüfmechanismen, die sogenannten Outcome-based Reward Models, bewertet ausschließlich das Endergebnis. Der Ablauf ist rasch erklärt: Ein trainiertes Sprachmodell erzeugt zu einer Aufgabe viele unterschiedliche Lösungsversuche auf einmal, teils mehrere hundert. Jeder dieser Versuche wird automatisch mit dem bekannten, korrekten Endergebnis abgeglichen, erhält ein einfaches Label wie „richtig“ oder „falsch“, und ein eigener Verifizierer lernt, die Erfolgswahrscheinlichkeit zu bewerten. Bei der Anwendung wählt das System dann den Versuch mit dem höchsten Endergebnis-Score aus.

Wie dem auch sei, dieses Verfahren übersieht die „convincing wrong answers“ vollkommen systematisch, da es nur an einer einzigen Stelle misst. Hier setzen moderne Process Based Reward Models an. Statt nur das Ziel zu betrachten, bewerten sie jeden einzelnen Schritt eines Lösungswegs separat. Hierzu bewerten menschliche Prüfer jeden Zwischenschritt als richtig, falsch oder neutral. Um Aufwand zu sparen, werden bevorzugt genau jene Lösungen geprüft, bei denen zwar das Endergebnis stimmt, der Weg dorthin aber Fehler enthält. Das Modell lernt aus diesen Schritt-Labels. Seine Gesamtbewertung ergibt sich aus der Verknüpfung aller Einzelschritt-Bewertungen, nicht aus einem einzelnen Wert am Ende.

Der Effekt ist spürbar: Neben einer besseren Generalisierung auf neue Aufgaben steigt laut dem Forschungspapier „Let’s Verify Step by Step“ die Dateneffizienz je Annotation um den Faktor 2,6. Ein fehlerhafter Zwischenschritt fällt sofort dort auf, wo er passiert. Dieser Datensatz von OpenAI mit 8.500 Grundschul-Mathematikaufgaben (GSM8K genannt) aus dem Jahr 2021 zeigt diese Wirksamkeit im mehrstufigen Rechnen.

Was die Belegkette im Einkauf längst vorlebt

Interessanterweise kennt SAP Business One seit jeher eine Funktion, die genau diesen Unterschied im betrieblichen Alltag längst vorlebt – ganz ohne Künstliche Intelligenz. Wir sprechen von der Belegkette im Einkauf, die vom Rahmenvertrag über die Bestellanforderung, die Lieferantenanfrage und die Bestellung bis zum Wareneingang und der Eingangsrechnung führt.

An jedem einzelnen Kettenschritt vergleicht das System die Planmenge abzüglich der verarbeiteten Menge im Feld „Offene Menge“. Der Gesamtbeleg bleibt „Offen“, solange auch nur eine Position noch nicht vollständig abgearbeitet ist. Jeder Schritt liefert somit ein eigenes, überprüfbares Zwischenergebnis.

Als Kontrast dazu dient die Kreditlimitprüfung beim Anlegen eines Verkaufsbelegs. Hier summiert SAP Business One den offenen Saldo, gegebenenfalls offene Lieferungen und den neuen Belegwert. Das System vergleicht diese Summe am Ende der Belegerstellung mit dem hinterlegten Kreditlimit. Diese Prüfung schaut – ähnlich einem Outcome Based Reward Model – nur auf einen einzigen Wert am Ende. Sie sieht nicht, wie sich dieser Wert über die einzelnen Positionen des Belegs zusammensetzt. Beide Mechanismen sind heute rein regelbasiert und lernen nicht aus Entscheidungen.

Gedankenspiele SAP B1 zu Process Reward Models

Denkbar ist theoretisch eine Erweiterung, die über den reinen Mengenabgleich in der Belegkette hinausgeht. Ein gelerntes Kriterium könnte zusätzlich Muster über viele vergangene Belegketten hinweg analysieren und Kombinationen aus Lieferant, Artikel und Abweichungsgröße prüfen, die in der Vergangenheit auffällig waren, obwohl die Mengen technisch korrekt waren. Ein solches Kriterium würde die harten Mengenregeln ergänzen, nicht ersetzen.

Hier sind fünf praxisnahe Szenarien aus dem ERP– und Supply-Chain-Umfeld, bei denen die Belegkette formal valide ist, eine musterbasierte Prüfung jedoch Anomalien aufdeckt:

1. Systematisches Ausreizen von Toleranzgrenzen (Micro-Creep)

• Szenario: Bei einem Lieferanten für Schüttgut oder Meterware liegt die automatische Mengentoleranz bei ±5%.
• Muster: Über 40 Belegketten hinweg liefert der Lieferant bei Standardartikeln exakt +4,8% bis +4,9%.
• Befund: Formal greift bei jeder Einzelbuchung die automatische Freigabe. In der Gesamtschau nutzt der Lieferant die Toleranz systematisch zur Margenoptimierung auf Kosten des Einkäufers.

2. Versteckter Ausschuss trotz mengengleichem Wareneingang

• Szenario: Ein Zerspanungsbetrieb kauft Rohlinge ein. Bestellung: 1.000 Stück, Wareneingang: 1.000 Stück, Eingangsrechnung: 1.000 Stück.
• Muster: Bei der Kombination aus Lieferant A und Werkstoff B treten historisch in über 30 % der Fälle innerhalb von 14 Tagen nach Verbuchung manuelle Rückmeldungen über Fertigungsausschuss in der Produktion auf.
• Befund: Der 3-Way-Match ist grün. Das statistische Kriterium blockiert die sofortige Rechnungsfreigabe dennoch und fordert eine Rückbestätigung der QS/Produktionslinie an.

3. Künstliches Beleg-Splitting zur Umgehung von Prüfschwellen

• Szenario: Eine Bestellung über 50.000 € erfordert ab 20.000 € Einzelrechnungswert eine 4-Augen-Freigabe der Abteilungsleitung.
• Muster: Ein Lieferant stellt für einen einzelnen Wareneingang zeitgleich drei Teilrechnungen über jeweils 16.500 €, 17.000 € und 16.500 € aus.
• Befund: Jede Einzelrechnung matcht formal auf die Teillieferung und bleibt unter dem Prüfschwellenwert. Das Gesamtmuster über die Belegkette signalisiert jedoch ein gezieltes Umgehen von Freigabe-Hierarchien.

4. Opportunistisches Timing bei bevorstehenden Preisstaffeln

• Szenario: Für Artikel X ist zum Quartalswechsel eine vertraglich vereinbarte Preissenkung von 15 % im System hinterlegt.
• Muster: Zwei Tage vor Stichtag liefert Lieferant C die maximale Überliefertoleranz von Rahmenbestellungen an – historisch liefert derselbe Lieferant bei diesem Artikel sonst strikt Just-in-Time oder mit leichten Unterdeckungen.
• Befund: Die Mengen stimmen mit den offenen Bestellresten überein, das Timing führt jedoch zu unnötiger Kapitalbindung zu Alt-Konditionen.

5. Schleichende Erhöhung unstrukturierter Nebenkosten

• Szenario: Die Artikelpositionen matchen stück- und preisgenau.
• Muster: Bei Lieferant D tauchen auf den Rechnungen schrittweise Fracht-, Verpackungs- oder Mindermengenzuschläge auf, die auf der Ursprungsbestellung nicht explizit gepflegt waren, aber einzeln unter der Beleg-Gesamttoleranz (z. B. 20 €) bleiben.
• Befund: Isolierte Belege lösen keinen Klärungsfall aus; auf Artikelebene akkumulieren sich signifikante, ungeplante Beschaffungsnebenkosten.

Der Haken bei der Sache: Ein solches System lernt auch aus historischen Fehlentscheidungen. Wenn eine fehlerhafte Kombination früher aus purem Zeitdruck unbesehen „abgeladen“ und durchgewinkt wurde, prägt das das gelernte Kriterium ebenso. Das System kann zwischen richtigen und fälschlicherweise durchgewunkenen historischen Entscheidungen nicht von selbst unterscheiden.

Der Blick auf den Weg bleibt entscheidend

Am Ende bleibt die Erkenntnis: Wer nur das Endergebnis kontrolliert, hat sich noch nicht davon überzeugt, dass auch der Weg dorthin stimmte. Ob dabei nun ein Mensch, eine starre Regel oder ein gelerntes Modell zuschaut, ist zweitrangig. Das gilt für die Rechenwege komplexer Sprachmodelle ebenso wie für die Belege im Einkauf. Ein richtiges Endergebnis bleibt ohne Prüfung des Pfades ein Produkt des Zufalls – und auf den verlässt man sich im soliden Mittelstand bekanntlich besser nicht.