Retrieval-Augmented Generation (RAG) ist das heute dominierende Architekturmuster, um ein Large Language Model mit aktuellem, unternehmensinternem Wissen zu versorgen, ohne das Modell selbst neu zu trainieren. Eine RAG-Pipeline holt bei jeder Anfrage relevante Textausschnitte aus einer Vektordatenbank und reicht sie dem LLM zusammen mit der Nutzerfrage als Kontext. Das Modell generiert die Antwort dann auf Basis dieses Kontextes — statt auf Basis seines statischen Trainingswissens.
Kontext
Im ERP-Umfeld ist RAG besonders wertvoll, weil Unternehmenswissen aus heterogenen Quellen kommt: SAP-B1-Handbücher, KoSIT-Spezifikationen zur E-Rechnung, DATEV-Dokumentation, interne Wikis, Kunden-Pflichtenhefte, Coresuite-/VFS-Dokumentationen, Blog-Artikel, Supportfälle. Eine typische Pipeline: (1) Quelldokumente werden in Chunks zerlegt, (2) per Embedding-Modell (z.B. gemini-embedding-001) in einen 768-dimensionalen Vektorraum abgebildet, (3) in einer Vektor-DB (Supabase mit pgvector, Pinecone, Weaviate) abgelegt. Zur Laufzeit wird die Nutzerfrage ebenfalls in einen Vektor überführt, die ähnlichsten Chunks per Cosine Similarity abgerufen und als Kontext in den LLM-Prompt eingebaut. Erweiterte RAG-Varianten kombinieren Vektorsuche mit Volltextsuche (Hybrid Search), nutzen Rerankersatz oder gehen in mehrere Schritte (agentic RAG). In Produkten wie B1-Helpster wird RAG mit direkter Service-Layer-Anbindung kombiniert, damit der Agent sowohl konzeptionelle Fragen beantworten als auch lebende Daten abfragen kann.
Abgrenzung
RAG ist kein Fine-Tuning: Es ändert nicht das Modell, sondern füttert es kontextuell. Gegenüber reinem Prompt-Engineering ist RAG dynamisch und skaliert mit der Größe der Wissensbasis. Gegenüber klassischer Suche liefert es nicht nur Links, sondern eine synthetisierte Antwort — birgt aber das Risiko, dass das Modell die Quellen falsch interpretiert. Saubere Zitate, nachvollziehbare Quellenangaben und ein klares „Ich-weiß-es-nicht" bei leerem Retrieval sind deshalb Pflichtbestandteile jeder ERP-RAG-Implementierung.
KI im Arbeitsalltag: So finden Sie den richtigen Start
KI-Assistent trifft SAP Business One: Zwei Wege aus dem Versino KI-Shop
Sprint und Swirl: Wie ein KI-Agent Arbeit aufteilt und aus Probeläufen lernt
LATS: Mehrere Wege gleichzeitig durchdenkt mit KI — und die Verfügbarkeitsprüfung in SAP B1
ReAct und RLEF: Wie Künstliche Intelligenz aus echten Fehlern lernt — und was der automatische Bankabgleich in SAP Business One damit zu tun hat
