Kurz erklärt
RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem ein KI-Sprachmodell vor der Antwort passende Informationen aus Ihren eigenen Dokumenten erhält. Das System sucht zuerst relevante Textstellen und lässt das Modell dann auf dieser Grundlage antworten. So stützt sich die KI auf Ihr Firmenwissen und kann Quellen nennen.
Was ist RAG?
Bei RAG werden Ihre Dokumente zunächst aufbereitet. Handbücher, Verträge oder Wiki-Seiten werden in kurze Abschnitte geteilt und in einer Suchdatenbank abgelegt. Stellt jemand eine Frage, sucht das System die passendsten Abschnitte heraus. Oft kombiniert man dabei eine Stichwortsuche mit einer Suche nach Bedeutung. Diese Abschnitte bekommt das Sprachmodell zusammen mit der Frage. Es formuliert daraus eine Antwort und kann auf die verwendeten Stellen verweisen.
RAG verändert das Sprachmodell selbst nicht. Das unterscheidet es vom Fine-Tuning, bei dem ein Modell nachtrainiert wird. RAG eignet sich, wenn sich Wissen häufig ändert, denn ein neues Dokument ist schnell in die Suche aufgenommen. Wichtig sind die Zugriffsrechte: Das System darf nur Dokumente heranziehen, die die fragende Person auch sonst lesen dürfte. Ein Chatbot mit RAG ist eine häufige Anwendung.
Für Mittelständler ist RAG oft der naheliegende Einstieg, wenn Wissen in vielen Ordnern verstreut liegt. Die Qualität der Antworten hängt stark von der Qualität der Dokumente ab. Veraltete oder widersprüchliche Unterlagen führen zu schlechten Antworten. Ein sinnvoller erster Schritt ist ein klar abgegrenzter Bereich, etwa die Serviceanleitungen einer Produktlinie. Dazu legen Sie Testfragen fest, an denen Sie die Antworten prüfen.
Typisches Szenario
Ein Maschinenbauer mit 120 Beschäftigten hat Wartungsanleitungen in mehreren Sprachen und Versionen. Er baut ein RAG-System für den Innendienst auf, das bei jeder Antwort die zugrunde liegende Anleitung und Seite nennt, damit die Mitarbeitenden die Aussage selbst prüfen können.
Beispielhafte Situation zur Veranschaulichung, kein Kundenprojekt.
Häufige Fragen zu RAG
Was ist der Unterschied zwischen RAG und Fine-Tuning?
RAG gibt dem Modell bei jeder Frage passende Textstellen aus Ihren Dokumenten mit, das Modell bleibt unverändert. Fine-Tuning trainiert das Modell selbst nach, etwa für einen bestimmten Stil oder ein festes Antwortformat. Für aktuelles Firmenwissen ist RAG meist der einfachere und besser überprüfbare Weg.
Brauche ich für RAG eigene Server?
Nicht zwingend. RAG lässt sich mit Cloud-Diensten oder im eigenen Rechenzentrum betreiben. Die Entscheidung hängt davon ab, wie vertraulich die Dokumente sind und welche Anforderungen an Speicherort und Kontrolle bestehen. Bei sensiblen Daten lohnt ein genauer Blick auf Datenwege und Anbieterverträge.
Stand: Oktober 2026. Allgemeine Information, keine Rechtsberatung.