KI- und Claude-Lexikon

Retrieval Augmented Generation

Retrieval Augmented Generation ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Textstellen aus einer externen Wissensquelle abruft und diese als Grundlage für die Antwort nutzt. So beantwortet das Modell Fragen zu Inhalten, die nicht in seinen Trainingsdaten enthalten sind, etwa zu internen Unternehmensdokumenten.

Auch bekannt als: RAG, Retrieval-Augmented Generation, abrufgestützte Generierung, Retrieval-basierte Generierung

Von Benjamin Barnack · Aktualisiert am 11. September 2026

Was ist Retrieval Augmented Generation?

Der Name beschreibt die drei Bestandteile: Retrieval (Abruf), Augmented (angereichert) und Generation (Erzeugung). Das Modell erzeugt die Antwort wie gewohnt, aber sein Kontext wurde vorher um abgerufene Informationen angereichert. In der Praxis ist die Abkürzung RAG gebräuchlicher; der zugehörige Eintrag erklärt, wann Unternehmen ein solches System brauchen und was es kostet. Dieser Eintrag beschreibt die Technik und den Ablauf.

Das Verfahren löst ein Grundproblem von Sprachmodellen. Ein Large Language Model kennt nur, was in seinen Trainingsdaten stand, und die enden an einem Stichtag. Ihre Preisliste, Ihr Qualitätshandbuch und Ihre Vertragsvorlagen waren nie Teil davon. Ohne Zugang zu diesen Informationen muss das Modell raten, und das führt zu Halluzinationen. Retrieval Augmented Generation gibt dem Modell bei jeder Anfrage genau die Textstellen mit, die es zur Beantwortung braucht.

So läuft Retrieval Augmented Generation ab

Der Ablauf besteht aus zwei Phasen. Die erste Phase, die Indexierung, findet einmalig statt und wird bei Änderungen wiederholt. Die zweite Phase, die Beantwortung, läuft bei jeder Anfrage.

Bei der Indexierung werden die Dokumente zunächst in Text umgewandelt. PDFs, Word-Dateien, Webseiten und E-Mails werden ausgelesen, Scans per Texterkennung erfasst. Dann werden die Texte in Abschnitte zerlegt, die sogenannten Chunks. Ein Chunk umfasst typischerweise einige hundert Wörter, oft mit Überlappung zum nächsten, damit kein Zusammenhang an einer Schnittstelle verloren geht. Die Größe der Chunks ist eine wichtige Stellschraube: Zu kleine Abschnitte verlieren Kontext, zu große verwässern die Suche.

Anschließend wird für jeden Chunk ein Embedding berechnet, eine Zahlenfolge, die die Bedeutung des Textes abbildet. Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlenfolgen, auch wenn sie unterschiedliche Wörter verwenden. Die Embeddings werden zusammen mit dem Text und Metadaten wie Dokumentname, Datum und Abschnitt in einer Vektordatenbank gespeichert.

Bei der Beantwortung wird die Frage des Nutzers auf dieselbe Weise in ein Embedding umgewandelt. Die Vektordatenbank sucht die Chunks, deren Embeddings der Frage am nächsten kommen, und liefert die besten Treffer zurück, meist zwischen drei und zwanzig. Viele Systeme kombinieren diese Bedeutungssuche mit einer klassischen Stichwortsuche und bewerten die Treffer in einem zweiten Schritt neu, um die Trefferqualität zu verbessern.

Die gefundenen Textstellen werden zusammen mit der Frage und einer Anweisung in den Prompt geschrieben, etwa: “Beantworte die Frage ausschließlich auf Grundlage der folgenden Auszüge. Nenne die Quelle. Wenn die Auszüge die Frage nicht beantworten, sage das.” Das Modell erzeugt daraufhin die Antwort und verweist auf die verwendeten Dokumente. Das gesamte Paket aus Anweisung, Auszügen und Frage muss in das Kontextfenster passen, was bei den aktuellen Claude-Modellen mit ihrem großen Kontext selten ein Problem ist.

Worauf es beim Aufbau ankommt

Die Qualität eines Systems hängt weniger vom Modell ab als von den Schritten davor. Die wichtigste Stellschraube ist die Datenqualität. Veraltete, doppelte oder widersprüchliche Dokumente führen zu veralteten, doppelten oder widersprüchlichen Antworten. Vor dem Aufbau lohnt sich deshalb eine Bereinigung des Bestands, und danach ein Prozess, der Dokumente aktuell hält.

Die zweite Stellschraube ist die Zerlegung. Ein Vertrag sollte nicht mitten in einem Paragraphen geschnitten werden, ein Handbuch nicht mitten in einer Anleitung. Gute Systeme nutzen die Struktur der Dokumente, etwa Überschriften und Absätze, statt nach fester Zeichenzahl zu schneiden. Metadaten wie Gültigkeitsdatum, Abteilung oder Dokumenttyp erlauben es, die Suche einzugrenzen: “Nur Richtlinien, die aktuell gültig sind.”

Die dritte Stellschraube ist die Anweisung an das Modell. Sie legt fest, ob das Modell nur aus den Auszügen antworten darf oder eigenes Wissen ergänzen soll, wie es mit fehlenden Informationen umgeht und wie es Quellen angibt. Bei Claude lassen sich Auszüge mit Quellenangaben so übergeben, dass das Modell in der Antwort präzise auf die Stellen verweist.

Die vierte Stellschraube ist die Auswertung. Ein System sollte mit einer Liste echter Fragen getestet werden, deren richtige Antworten bekannt sind. Daraus lässt sich ablesen, ob die Suche die richtigen Stellen findet und ob das Modell sie korrekt verwendet. Diese Testliste bleibt auch nach dem Start wertvoll, um Änderungen zu prüfen.

Praxisbeispiel aus dem Unternehmensalltag

Ein Maschinenbauunternehmen mit 120 Mitarbeitenden hat über Jahrzehnte Servicehandbücher, Schaltpläne, Wartungsberichte und Fehlerprotokolle für mehrere hundert Maschinentypen angesammelt. Die Servicetechniker suchen im Einsatz oft lange nach der passenden Information, und das Wissen der erfahrenen Kollegen ist nirgends aufgeschrieben.

Das Unternehmen baut ein System auf Basis von Retrieval Augmented Generation. Die Dokumente werden ausgelesen, nach Maschinentyp und Baujahr mit Metadaten versehen und in Abschnitte zerlegt, die sich an den Kapiteln der Handbücher orientieren. Ein Techniker kann nun im Einsatz fragen: “Fehlercode E42 an Typ 3200, Baujahr 2016, was ist zu prüfen?” Das System findet die passenden Abschnitte aus Handbuch und früheren Wartungsberichten, und Claude formuliert eine Anleitung mit Verweis auf die Quellen. Der Techniker sieht, aus welchem Dokument die Information stammt, und kann bei Bedarf die Originalseite öffnen. Der größte Aufwand lag in der Aufbereitung der Dokumente, nicht in der Technik. Der größte Gewinn: Wartungsberichte werden heute sorgfältiger geschrieben, weil die Techniker wissen, dass sie wiedergefunden werden.

Bedeutung für kleine und mittelständische Unternehmen

Für KMU ist Retrieval Augmented Generation der Weg, unternehmenseigenes Wissen mit einem Sprachmodell nutzbar zu machen, ohne das Modell zu verändern und ohne die Dokumente aus der Hand zu geben. Die Dokumente bleiben in einer Datenbank, die das Unternehmen kontrolliert, und werden nur auszugsweise an das Modell übergeben.

Zugleich ist es ein Projekt mit technischem Aufwand. Für viele KMU reichen zunächst Claude Projects, die eine einfache Form des Abrufs für überschaubare Dokumentbestände bereits eingebaut haben. Ein eigenes System lohnt sich, wenn der Bestand groß ist, sich häufig ändert oder in eigene Anwendungen eingebunden werden soll. Diese Abwägung beschreibt der Eintrag zu RAG. Wie Projekte als Vorstufe genutzt werden, zeigt der Artikel Claude Projects im Unternehmen sinnvoll nutzen.

Wer ein eigenes System aufbauen will, findet in der Claude Automatisierung Unterstützung bei Architektur und Umsetzung, oft in Kombination mit n8n als Steuerung, wie im Artikel Claude und n8n: Prozesse mit KI automatisieren beschrieben. Die vorgelagerte Frage, ob ein solches System das richtige Werkzeug ist, klärt die Claude Beratung. Zum Datenschutz gilt: Dokumente mit personenbezogenen Daten dürfen grundsätzlich verarbeitet werden, abhängig von Rechtsgrundlage, Anbieter und Vertrag. Lassen Sie den Aufbau vom Datenschutzbeauftragten begleiten; dieser Text ersetzt keine Rechtsberatung.

Vorteile und Grenzen

Die Vorteile liegen in aktuellen, nachvollziehbaren Antworten aus eigenen Quellen. Dokumente lassen sich jederzeit ergänzen oder entfernen, Antworten verweisen auf ihre Herkunft, und das Modell muss nicht angepasst werden. Halluzinationen werden seltener, weil das Modell auf Textstellen gestützt antwortet.

Die Grenzen liegen in der Abhängigkeit von der Suche und den Daten. Findet die Suche die falschen Stellen, antwortet das Modell auf falscher Grundlage, oft ohne dass es das erkennt. Fragen, die eine Übersicht über viele Dokumente erfordern, etwa “Wie viele Verträge laufen dieses Jahr aus?”, eignen sich schlecht, weil nur einzelne Auszüge geladen werden. Und das System ist nur so aktuell wie der Prozess, der die Dokumente pflegt. Retrieval Augmented Generation ersetzt kein Wissensmanagement, es macht gutes Wissensmanagement nutzbar.

Häufige Fragen zu Retrieval Augmented Generation

Warum reicht es nicht, alle Dokumente in den Prompt zu kopieren?

Bei wenigen Dokumenten funktioniert das, und ein großes Kontextfenster wie bei Claude erlaubt einiges. Bei hunderten oder tausenden Dokumenten ist der Platz erschöpft, die Kosten pro Anfrage steigen, und die Antwortqualität sinkt, weil relevante Stellen in der Masse untergehen. Retrieval Augmented Generation löst das, indem nur die passenden Stellen geladen werden.

Wird das Modell bei Retrieval Augmented Generation mit meinen Daten trainiert?

Nein. Das Modell bleibt unverändert. Ihre Dokumente liegen in einem Suchindex, aus dem bei jeder Anfrage die passenden Stellen geholt und dem Modell mitgegeben werden. Das ist ein wesentlicher Vorteil gegenüber dem Nachtrainieren: Dokumente lassen sich jederzeit ergänzen, ändern oder löschen.

Wie zuverlässig sind die Antworten?

Zuverlässiger als ohne Retrieval, weil das Modell auf konkrete Textstellen gestützt antwortet und diese als Quelle nennen kann. Fehler entstehen trotzdem, etwa wenn die Suche die falschen Stellen liefert oder Dokumente veraltet sind. Ein gutes System zeigt die verwendeten Quellen, damit Nutzer prüfen können.

Welche Dokumente eignen sich für Retrieval Augmented Generation?

Textbasierte Dokumente mit klarer Struktur: Handbücher, Richtlinien, Verträge, Produktbeschreibungen, Protokolle, Wissensartikel. Schwieriger sind Tabellen, Scans ohne Texterkennung, Präsentationen mit wenig Text und Dokumente, die sich widersprechen. Die Aufbereitung der Dokumente ist erfahrungsgemäß der größte Teil des Aufwands.

Brauche ich zwingend eine Vektordatenbank?

Nicht zwingend. Für kleine Bestände reicht eine klassische Volltextsuche, und viele Systeme kombinieren beide Verfahren. Eine Vektordatenbank hilft, wenn Nutzer Fragen anders formulieren als die Dokumente, weil sie nach Bedeutung statt nach Wortlaut sucht.