RAG

Was bedeutet RAG?

RAG ist die Abkürzung für Retrieval Augmented Generation, ein Verfahren, bei dem ein Sprachmodell passende Auszüge aus eigenen Dokumenten abruft und auf dieser Grundlage antwortet. Im Unternehmen bezeichnet RAG meist ein System, das Firmenwissen für einen KI-Assistenten durchsuchbar macht.

Die Abkürzung hat sich in Angeboten von IT-Dienstleistern, in Ausschreibungen und in Fachartikeln durchgesetzt. Oft ist dabei nicht das Verfahren gemeint, sondern das Ergebnis: ein Assistent, der Fragen zu den eigenen Handbüchern, Verträgen oder Produktdaten beantwortet. Dieser Eintrag ordnet ein, wann ein Unternehmen ein solches System braucht, wann einfachere Mittel reichen und mit welchem Aufwand zu rechnen ist. Die Technik dahinter, also Zerlegung, Embeddings und Vektorsuche, beschreibt der ausführliche Eintrag zur Langform.

Für die Einordnung genügt ein Bild: Ein Sprachmodell wie Claude ist ein sehr belesener Mitarbeiter, der Ihr Unternehmen nicht kennt. RAG ist die Bibliothek, aus der er sich vor jeder Antwort die passenden Seiten holt.

Wann Claude Projects ausreichen

Bevor ein Unternehmen ein RAG-System baut, sollte es prüfen, ob Claude Projects den Bedarf bereits decken. Projekte erlauben es, Dokumente hochzuladen, die Claude bei jeder Anfrage berücksichtigt. Solange die Dokumente in das Kontextfenster passen, liest Claude sie vollständig. Bei größeren Beständen greift eine eingebaute Suche, die die relevanten Stellen findet. Das ist im Kern eine einfache Form von RAG, ohne dass jemand etwas aufbauen muss.

Projekte reichen erfahrungsgemäß aus, wenn drei Bedingungen erfüllt sind. Der Bestand ist überschaubar, etwa einige Dutzend Dokumente zu einem Thema. Die Dokumente ändern sich selten, sodass jemand sie von Hand aktuell halten kann. Und die Nutzung findet in der Chat-Oberfläche statt, nicht in einer eigenen Anwendung oder einem automatisierten Prozess.

Typische Beispiele sind ein Projekt mit Styleguide und Vorlagen für das Marketing, ein Projekt mit Prozessbeschreibungen für die Einarbeitung oder ein Projekt mit Leistungsbeschreibungen und Musterangeboten für den Vertrieb. Für viele KMU ist das der erste und oft ausreichende Schritt. Wie Projekte aufgebaut werden, zeigt der Artikel Claude Projects im Unternehmen sinnvoll nutzen.

Wann Unternehmen ein eigenes RAG-System brauchen

Ein eigenes System wird nötig, sobald eine der drei Bedingungen nicht mehr gilt. Der erste Auslöser ist die Menge. Wer tausende Dokumente durchsuchbar machen will, etwa ein Archiv aus Serviceberichten, Verträgen oder Wissensartikeln, braucht eine Vektordatenbank und einen Prozess, der neue Dokumente automatisch aufnimmt.

Der zweite Auslöser ist die Dynamik. Wenn sich Inhalte täglich ändern, etwa Preislisten, Lagerbestände oder Ticketdaten, muss das System an die Quellsysteme angebunden sein, statt auf manuell hochgeladenen Kopien zu beruhen. Hier kommt häufig das Model Context Protocol ins Spiel, über das Claude direkt auf Datenbanken und Anwendungen zugreifen kann, teils als Ergänzung, teils als Ersatz für klassisches RAG.

Der dritte Auslöser ist die Einbindung. Wenn Kunden auf der Website Fragen stellen sollen, wenn ein Servicemitarbeiter die Antworten in seinem Ticketsystem sehen will oder wenn ein automatisierter Prozess Fragen ohne Menschen beantwortet, muss das System über die API laufen. Der vierte Auslöser sind Berechtigungen: Wenn nicht jeder Mitarbeitende jedes Dokument sehen darf, braucht das System eine Rechteverwaltung, die die Suche auf freigegebene Inhalte beschränkt.

Kosten und Aufwand

Die Kosten eines RAG-Systems bestehen aus drei Teilen. Die laufenden Kosten umfassen die Berechnung von Embeddings bei der Aufnahme von Dokumenten, den Betrieb der Datenbank und die Modellabfragen bei jeder Frage. Bei mittleren Beständen und normaler Nutzung sind diese Kosten erfahrungsgemäß überschaubar und liegen deutlich unter den Personalkosten, die das System einspart.

Der Aufbau ist der größere Posten. Er umfasst die Aufbereitung der Dokumente, also Auslesen, Bereinigen, Strukturieren und mit Metadaten versehen, den Aufbau der Suchlogik, die Anbindung an Claude, die Rechteverwaltung, die Oberfläche oder Integration und das Testen mit echten Fragen. Für ein mittleres Vorhaben ist ein Projekt von mehreren Wochen realistisch, abhängig vom Zustand der Dokumente. Wer mit Werkzeugen wie n8n arbeitet, spart Programmieraufwand, nicht aber die Arbeit an den Inhalten.

Der dritte Posten wird am häufigsten vergessen: die Pflege. Ein RAG-System ist nur so gut wie seine Dokumente. Es braucht einen Verantwortlichen, der neue Inhalte aufnimmt, veraltete entfernt und die Antwortqualität regelmäßig prüft. Ohne diese Rolle verschlechtert sich jedes System innerhalb weniger Monate.

Praxisbeispiel aus dem Unternehmensalltag

Ein Softwareanbieter für Handwerksbetriebe mit 50 Mitarbeitenden betreibt einen Support mit acht Mitarbeitenden. Die Wissensbasis umfasst einige hundert Hilfeartikel, Versionshinweise und interne Lösungsnotizen, verteilt über ein Wiki, ein Ticketsystem und Ordner. Der erste Versuch mit einem Claude Projekt, in das die wichtigsten Artikel hochgeladen wurden, funktionierte für die Einarbeitung neuer Kollegen gut, stieß aber an Grenzen: Die Artikel änderten sich mit jeder Softwareversion, und die Supportmitarbeiter wollten die Antworten direkt im Ticketsystem sehen.

Das Unternehmen baut daraufhin ein RAG-System. Wiki und Versionshinweise werden automatisch nachts indexiert, gelöste Tickets nach Freigabe durch den Teamleiter ebenfalls. Im Ticketsystem erscheint zu jedem neuen Ticket ein Antwortvorschlag von Claude mit Verweis auf die Quellen. Der Mitarbeiter prüft, passt an und sendet. Der Aufbau dauerte etwa sechs Wochen, wovon die Hälfte auf das Bereinigen widersprüchlicher Wiki-Artikel entfiel. Heute pflegt eine Mitarbeiterin mit einem halben Tag pro Woche die Wissensbasis, und die Zahl der Rückfragen an erfahrene Kollegen ist spürbar gesunken.

Bedeutung für kleine und mittelständische Unternehmen

Für KMU ist RAG ein Werkzeug, das man in der richtigen Reihenfolge einsetzen sollte. Erst Claude im Team nutzen, dann Projekte für die wichtigsten Wissensbereiche aufbauen, und erst wenn diese an Grenzen stoßen, ein eigenes System planen. Wer die Reihenfolge einhält, weiß beim Aufbau des Systems bereits, welche Fragen die Mitarbeitenden stellen und welche Dokumente wirklich gebraucht werden.

Bei der Entscheidung hilft die Claude Beratung, die zunächst prüft, ob Projekte oder eine Anbindung über MCP den Bedarf decken, bevor ein RAG-Projekt geplant wird. Für den Aufbau selbst bietet die Claude Automatisierung Unterstützung von der Architektur bis zur Einbindung in Ihre Systeme. Weitere Einsatzfelder, in denen Firmenwissen mit Claude nutzbar wird, sammelt der Artikel 25 Claude Use Cases für KMU.

Zum Datenschutz: Ein RAG-System verarbeitet häufig Dokumente mit personenbezogenen Daten. Das ist grundsätzlich möglich, abhängig von Rechtsgrundlage, Auftragsverarbeitungsvertrag und technischer Gestaltung, und sollte vor dem Aufbau mit dem Datenschutzbeauftragten geklärt werden. Dieser Text ersetzt keine Rechtsberatung.

Vorteile und Grenzen

RAG macht Firmenwissen nutzbar, ohne es an ein Modell zu übergeben, hält Antworten aktuell und nachvollziehbar und lässt sich in bestehende Systeme einbinden. Für Unternehmen mit großen oder dynamischen Wissensbeständen ist es der Standardweg.

Die Grenzen liegen in Aufwand und Pflege. RAG ist ein Projekt, kein Produkt. Es scheitert selten an der Technik und häufig an unaufgeräumten Dokumenten und fehlender Verantwortung. Und es ist nicht für alles das richtige Werkzeug: Für überschaubare Bestände reichen Projekte, für strukturierte Daten aus Anwendungen ist eine direkte Anbindung oft besser. Wer RAG als eine Option unter mehreren betrachtet, trifft erfahrungsgemäß die bessere Entscheidung.