Ein Sprachmodell kennt Ihr Unternehmen nicht. Es kennt keine internen Reglemente, keine aktuellen Preislisten, keine Produktkataloge – es wurde auf öffentlichen Texten trainiert und hört an einem bestimmten Stichtag auf zu lernen. Wer ein Modell trotzdem nach internen Details fragt, bekommt oft eine überzeugend klingende, aber falsche Antwort. Retrieval-Augmented Generation, kurz RAG, ist die Architektur, die dieses Problem löst – ohne das Modell neu zu trainieren.
1. Was ist RAG – ohne Fachjargon?
Stellen Sie sich einen neuen Mitarbeitenden vor, der brillant formulieren kann, aber am ersten Tag noch nichts über Ihr Unternehmen weiss. Ohne Handbuch würde diese Person aus Höflichkeit trotzdem eine Antwort erfinden. Mit Handbuch schlägt sie zuerst nach, findet die passende Seite – und formuliert die Antwort dann auf dieser Grundlage.
Genau das macht RAG in zwei Schritten:
- Retrieval (Suchen): Zur gestellten Frage werden die passendsten Ausschnitte aus Ihren eigenen Dokumenten gesucht – nicht per Stichwortsuche, sondern über eine Ähnlichkeitssuche, die auch Umschreibungen und Synonyme erkennt.
- Augmented Generation (Antworten): Diese Ausschnitte werden zusammen mit der Frage an das Sprachmodell übergeben. Das Modell formuliert die Antwort – gestützt auf das, was tatsächlich in Ihren Dokumenten steht.
Der entscheidende Unterschied zu einem einfachen Prompt: Bei RAG muss niemand das passende Dokument von Hand heraussuchen und einfügen. Das System findet es selbst, aus einer Sammlung, die tausende Seiten umfassen kann.
2. Wie RAG die Halluzinations-Problematik löst
„Halluzination" ist der Fachbegriff dafür, wenn ein Sprachmodell etwas Falsches mit hoher Überzeugung behauptet. Das passiert nicht aus Böswilligkeit – das Modell füllt eine Wissenslücke mit dem statistisch Plausibelsten, weil es keinen anderen Mechanismus kennt, um „Ich weiss es nicht" zu sagen.
RAG reduziert dieses Risiko auf zwei Arten:
- Grounding: Das Modell bekommt den relevanten Text direkt vorgelegt, statt ihn aus dem Trainingsgedächtnis zu rekonstruieren. Die Antwort stützt sich auf etwas Konkretes, nicht auf eine Vermutung.
- Nachvollziehbarkeit: Ein gut gebautes RAG-System kann die Quelle mitliefern – „laut Abschnitt 4.2 des Reglements" – wodurch sich jede Antwort in Sekunden prüfen lässt, statt ihr blind zu vertrauen.
3. Typische Use Cases für Schweizer KMU
RAG lohnt sich überall dort, wo Mitarbeitende regelmässig in umfangreichen, sich ändernden Dokumenten nachschlagen müssen. Drei Beispiele aus der Praxis:
| Use Case | Typische Frage | Nutzen |
|---|---|---|
| HR-Handbuch | „Wie viele Ferientage stehen mir im ersten Jahr zu?" | Neue Mitarbeitende finden Antworten selbst, ohne HR zu blockieren |
| Produktkatalog | „Welche unserer Produkte sind für Aussenbereiche zertifiziert?" | Vertrieb antwortet in Sekunden statt nach Rückfrage im Backoffice |
| ISO-Dokumentation | „Was schreibt unser QM-Handbuch zur Reklamationsfrist vor?" | Konsistente Antworten, unabhängig davon, wer gerade Dienst hat |
Gemeinsamer Nenner: Das Wissen existiert bereits schriftlich im Unternehmen. RAG macht es durchsuchbar, statt es neu zu erfinden.
4. Einstieg ohne Programmierung
RAG klingt nach Infrastruktur-Projekt, ist es für den Einstieg aber nicht. Mehrere Werkzeuge bringen die Kernidee bereits fertig verpackt mit:
- Eigene GPTs/Projekte mit Dateianhang (z. B. in ChatGPT oder Claude): Dokumente werden direkt hochgeladen, das Modell durchsucht sie automatisch bei jeder Frage – der einfachste Einstieg ohne jede Konfiguration.
- Notion AI: Durchsucht den bestehenden Workspace, sofern die Dokumentation ohnehin schon dort gepflegt wird.
- Microsoft Copilot: Greift auf SharePoint- und Teams-Dokumente zu, wenn die Unternehmensdaten bereits im Microsoft-365-Ökosystem liegen.
Der Unterschied zu einer selbst gebauten RAG-Pipeline liegt im Kontrollgrad: Fertige Tools sind in Minuten startklar, geben aber wenig Einblick, wie die Suche im Hintergrund funktioniert. Eine eigene Lösung – etwa über ein Agenten-Setup mit MCP-Anbindung an die eigene Dokumentenablage – lohnt sich erst, wenn Volumen, Aktualisierungsfrequenz oder Datenschutzanforderungen es verlangen.
5. Datenschutz-Aspekte: Wo liegen die Dokumente?
Sobald interne Dokumente in ein KI-System eingespiesen werden, wird aus einer Prompt-Frage eine Datenschutzfrage. Drei Punkte gehören vor dem Rollout auf den Tisch:
- Speicherort: Werden die Dokumente in einer Cloud-Umgebung eines US-Anbieters indexiert, in der EU/Schweiz gehostet, oder bleibt alles lokal? Das entscheidet, welche Vorgaben aus dem nDSG greifen.
- Zugriffsrechte: Ein RAG-System, das über alle Unternehmensdokumente sucht, darf nicht jedem Nutzenden Zugriff auf alles geben. Die Zugriffsrechte des Quellsystems (SharePoint, Wiki, HR-Ablage) müssen im RAG-System erhalten bleiben – nicht umgangen werden.
- Personendaten in Dokumenten: Verträge, Personalakten oder Kundenkorrespondenz enthalten Personendaten. Diese gehören nicht ungeprüft in einen allgemeinen Wissens-Index, sondern – falls überhaupt – in einen eigenen, streng zugriffsbeschränkten Bereich.
Wie diese Fragen strukturiert beantwortet werden, statt sie im Nachhinein zu klären, beschreibt der Artikel KI-Governance in Schweizer Unternehmen im Detail – er ist die richtige Grundlage, bevor ein RAG-System produktiv geschaltet wird.
6. Nächste Schritte
RAG ist die Architektur, die aus einem allgemeinen Sprachmodell einen Assistenten macht, der Ihr Unternehmen tatsächlich kennt. Für den täglichen Umgang mit einzelnen Antworten bleibt sauberes Prompting die Grundlage – dazu der Einstieg in Prompt Engineering für Anfänger. Wer die Antworten für ein ganzes Team konsistent halten will, kombiniert RAG mit einem klar definierten System Prompt für interne Assistenten – die Dokumente liefern das Wissen, der System Prompt liefert Ton, Grenzen und Format.
Wenn Sie prüfen wollen, welche Ihrer internen Dokumente sich für einen ersten RAG-Piloten eignen – und wie sich das datenschutzkonform für Ihr Unternehmen umsetzen lässt, bietet CuonzTech ThinkLab ein massgeschneidertes Beratungsformat an.