Test-Time Compute Scaling bezeichnet die Menge an Rechenleistung, die ein KI-Modell erst während der Beantwortung einer Anfrage einsetzt, nicht während des Trainings. Statt ein größeres oder aufwendiger trainiertes Modell zu bauen, bekommt das bestehende Modell mehr Zeit und Rechenkapazität, um über eine einzelne Antwort nachzudenken.
Der Unterschied zur klassischen Skalierung liegt im Zeitpunkt. Trainings-Compute ist fix, sobald ein Modell fertig trainiert ist. Test-Time Compute lässt sich dagegen von Anfrage zu Anfrage variieren. Einfache Fragen bekommen wenig Rechenzeit, komplexe Aufgaben mehr. Umgesetzt wird das auf unterschiedliche Weise: Reasoning-Modelle erzeugen längere Gedankenketten, bevor sie eine Antwort ausgeben. Andere Ansätze generieren mehrere Lösungsvarianten parallel und wählen anschließend die beste aus. Fortgeschrittene Systeme trennen sogar die Entscheidung über die einzusetzende Rechenmenge vom eigentlichen Denkprozess und verteilen sie gezielt über verschiedene Phasen einer Aufgabe.
Der praktische Nutzen liegt in der Steuerbarkeit von Kosten und Qualität. Wer mehr Rechenzeit für eine schwierige Aufgabe investiert, bekommt tendenziell eine bessere Antwort. Wer eine einfache Aufgabe schnell und günstig beantwortet haben möchte, spart Rechenzeit. Diese Flexibilität ist besonders bei langlaufenden, agentengesteuerten Aufgaben wie Softwareentwicklung oder komplexer Textanalyse relevant.
Abgrenzung
Test-Time Compute Scaling ist nicht dasselbe wie Modell-Training. Es verändert das zugrunde liegende Modell nicht, sondern nur den Aufwand, mit dem das bestehende Modell eine einzelne Anfrage bearbeitet. Ein größeres oder länger trainiertes Modell (mehr Trainings-Compute) und ein Modell mit mehr Denkzeit pro Anfrage (mehr Test-Time Compute) sind zwei unabhängige Stellschrauben, die sich auch kombinieren lassen.
SAP B1 10.0 FP2608: Service Layer KI als transaktionalen Schicht
Process Reward Models: Warum ein richtiges Ergebnis noch keinen richtigen Weg beweist
Test-Time Compute Scaling: Warum ein kleineres KI-Modell am Ende gewinnen kann — und was der Lieferantenvergleich in SAP Business One damit zu tun hat
RLHF und Reward-Modelle: Was hinter dem KI-Hype steckt — und was der Genehmigungsprozess in SAP Business One damit zu tun hat
KI – Antworten aus SAP Business One – ohne SQL, ohne IT-Ticket
