RAG (Retrieval-Augmented Generation) im ERP-Kontext

E-Rechnung in Deutschland: So setzen Sie die Pflicht mit SAP Business One um

Retrieval-Augmented Generation (RAG) ist das heute dominierende Architekturmuster, um ein Large Language Model mit aktuellem, unternehmensinternem Wissen zu versorgen, ohne das Modell selbst neu zu trainieren. Eine RAG-Pipeline holt bei jeder Anfrage relevante Textausschnitte aus einer Vektordatenbank und reicht sie dem LLM zusammen mit der Nutzerfrage als Kontext. Das Modell generiert die Antwort dann auf Basis dieses Kontextes — statt auf Basis seines statischen Trainingswissens.

Kontext

Im ERP-Umfeld ist RAG besonders wertvoll, weil Unternehmenswissen aus heterogenen Quellen kommt: SAP-B1-Handbücher, KoSIT-Spezifikationen zur E-Rechnung, DATEV-Dokumentation, interne Wikis, Kunden-Pflichtenhefte, Coresuite-/VFS-Dokumentationen, Blog-Artikel, Supportfälle. Eine typische Pipeline: (1) Quelldokumente werden in Chunks zerlegt, (2) per Embedding-Modell (z.B. gemini-embedding-001) in einen 768-dimensionalen Vektorraum abgebildet, (3) in einer Vektor-DB (Supabase mit pgvector, Pinecone, Weaviate) abgelegt. Zur Laufzeit wird die Nutzerfrage ebenfalls in einen Vektor überführt, die ähnlichsten Chunks per Cosine Similarity abgerufen und als Kontext in den LLM-Prompt eingebaut. Erweiterte RAG-Varianten kombinieren Vektorsuche mit Volltextsuche (Hybrid Search), nutzen Rerankersatz oder gehen in mehrere Schritte (agentic RAG). In Produkten wie B1-Helpster wird RAG mit direkter Service-Layer-Anbindung kombiniert, damit der Agent sowohl konzeptionelle Fragen beantworten als auch lebende Daten abfragen kann.

Abgrenzung

RAG ist kein Fine-Tuning: Es ändert nicht das Modell, sondern füttert es kontextuell. Gegenüber reinem Prompt-Engineering ist RAG dynamisch und skaliert mit der Größe der Wissensbasis. Gegenüber klassischer Suche liefert es nicht nur Links, sondern eine synthetisierte Antwort — birgt aber das Risiko, dass das Modell die Quellen falsch interpretiert. Saubere Zitate, nachvollziehbare Quellenangaben und ein klares „Ich-weiß-es-nicht" bei leerem Retrieval sind deshalb Pflichtbestandteile jeder ERP-RAG-Implementierung.