RAG erklärt: So funktionieren KI-Chatbots mit Unternehmenswissen

Künstliche Intelligenz hat die Art verändert, wie Unternehmen mit Wissen umgehen. Doch große Sprachmodelle (LLMs) wie GPT oder Claude haben ein grundlegendes Problem: Sie kennen nur das, was in ihren Trainingsdaten steckt. Für unternehmensspezifisches Wissen – interne Dokumentationen, Produktkataloge, Richtlinien – sind sie von Haus aus blind. Retrieval-Augmented Generation (RAG) löst genau dieses Problem.

In diesem Artikel erklären wir im Detail, wie RAG funktioniert, warum es Halluzinationen drastisch reduziert und weshalb es der wichtigste Baustein moderner KI-Chatbots mit Unternehmenswissen ist.

RAG ist eine Architektur, die zwei Komponenten kombiniert: eine Wissensdatenbank (Retrieval) und ein generatives Sprachmodell (Generation). Statt sich ausschließlich auf trainiertes Wissen zu verlassen, sucht das System zunächst in einer externen Datenquelle nach relevanten Informationen – und nutzt diese als Kontext für die Antwortgenerierung.

Der Begriff wurde 2020 von Facebook AI Research (heute Meta AI) geprägt und hat sich seitdem zum De-facto-Standard für wissensbasierte KI-Anwendungen entwickelt.

Phase 1: Retrieval (Wissensabruf)

Wenn ein Nutzer eine Frage stellt, wird diese zunächst in einen mathematischen Vektor umgewandelt (Embedding). Dieser Vektor wird mit den Vektoren aller Dokumente in der Wissensdatenbank verglichen. Die semantisch ähnlichsten Dokumente oder Textpassagen werden als relevanter Kontext ausgewählt.

Entscheidend ist: Dieser Vergleich funktioniert semantisch, nicht nur per Stichwortsuche. Die Frage „Wie lange dauert die Einarbeitung?" findet auch Passagen über „Onboarding-Zeitraum" oder „Probezeit-Lernkurve".

Phase 2: Augmentation (Kontextanreicherung)

Die gefundenen Textpassagen werden zusammen mit der ursprünglichen Frage in einen Prompt für das Sprachmodell eingefügt. Das LLM erhält also nicht nur die Frage, sondern auch den relevanten Kontext – quasi als „Spickzettel" mit den richtigen Informationen.

Phase 3: Generation (Antwortgenerierung)

Das Sprachmodell formuliert eine natürlichsprachliche Antwort auf Basis des bereitgestellten Kontexts. Es synthetisiert die Informationen, fasst zusammen und beantwortet die Frage in verständlicher Form – oft mit Quellenangaben, damit der Nutzer die Antwort überprüfen kann.

Halluzinationen sind das größte Vertrauensproblem von KI-Chatbots: Das Modell generiert plausibel klingende, aber faktisch falsche Antworten. RAG adressiert dieses Problem auf mehreren Ebenen:

• Faktengrundlage: Das Modell antwortet auf Basis verifizierter Dokumente, nicht auf Basis von „Erinnerungen" aus dem Training.
• Eingrenzung: Der Kontext beschränkt den Antwortrahmen. Das Modell kann keine Informationen erfinden, die nicht im Kontext stehen.
• Quellenangaben: Jede Antwort kann mit der Quelldokument-Referenz versehen werden. Nutzer können die Korrektheit überprüfen.
• Aktualität: Die Wissensdatenbank kann jederzeit aktualisiert werden – ohne das Modell neu trainieren zu müssen.

Viele Unternehmen stehen vor der Frage: Sollen wir unser LLM fine-tunen oder RAG verwenden? Die Antwort ist in den meisten Fällen eindeutig:

Fine-Tuning

• Passt den Stil und das Verhalten des Modells an
• Erfordert große Mengen an qualitativ hochwertigen Trainingsdaten
• Teuer und zeitaufwendig (GPU-Kosten, Datenaufbereitung)
• Wissen veraltet – jedes Update erfordert erneutes Training
• Keine Quellenangaben möglich

RAG

• Ergänzt das Modell mit externem, aktuellem Wissen
• Keine Trainingsdaten nötig – nur Dokumente in der Wissensdatenbank
• Schnell implementierbar und kostengünstig
• Wissen bleibt aktuell durch einfaches Dokumenten-Update
• Quellenangaben und Nachvollziehbarkeit eingebaut

Für die meisten Unternehmensanwendungen ist RAG die pragmatischere und effektivere Lösung. Fine-Tuning ist dann sinnvoll, wenn das Modell einen bestimmten Tonfall oder ein spezifisches Ausgabeformat lernen soll – aber nicht für das Einbringen von Fachwissen.

Interner Wissens-Chatbot

Mitarbeitende stellen Fragen zu HR-Richtlinien, IT-Prozessen oder Produktspezifikationen. Der RAG-Chatbot durchsucht die interne Wissensdatenbank und liefert präzise Antworten – rund um die Uhr, ohne Wartezeit.

Kundenservice-Automation

Kunden erhalten sofortige Antworten auf Fragen zu Produkten, Tarifen oder Vertragsbedingungen. Der Chatbot greift auf aktuelle Produktdokumentation, FAQ-Datenbanken und Support-Artikel zu.

Technische Dokumentation

Entwickler oder Techniker suchen nach spezifischen Informationen in tausenden Seiten technischer Dokumentation. RAG findet die relevante Passage und formuliert eine verständliche Antwort.

Compliance und Regulatorik

Fachabteilungen benötigen schnelle Antworten zu regulatorischen Anforderungen. Der Chatbot durchsucht Gesetzestexte, interne Compliance-Richtlinien und Branchenstandards.

Die Qualität eines RAG-Systems hängt maßgeblich von folgenden Faktoren ab:

1. Dokumentenqualität: Gut strukturierte, aktuelle und vollständige Dokumente sind die Basis. „Garbage in, garbage out" gilt auch hier.
2. Chunking-Strategie: Wie Dokumente in kleinere Abschnitte zerlegt werden, beeinflusst die Retrieval-Qualität erheblich. Zu große Chunks verwässern die Relevanz, zu kleine verlieren den Kontext.
3. Embedding-Modell: Die Qualität der semantischen Suche hängt vom verwendeten Embedding-Modell ab. Mehrsprachige Modelle sind für den DACH-Raum besonders wichtig.
4. Relevanz-Ranking: Nicht alle gefundenen Dokumente sind gleich relevant. Ein gutes Ranking stellt sicher, dass das LLM den besten Kontext erhält.
5. Prompt Engineering: Wie der Kontext dem LLM präsentiert wird, beeinflusst die Antwortqualität maßgeblich.

Die deepsight Plattform bietet eine vollständige RAG-Infrastruktur für Unternehmen im DACH-Raum:

• Optimierte Verarbeitung deutschsprachiger Dokumente
• DSGVO-konforme Datenverarbeitung auf EU-Servern
• Flexible Anbindung an bestehende Wissensdatenbanken und Dokumentenmanagementsysteme
• Automatische Quellenangaben in jeder Antwort
• Konfigurierbares Antwortverhalten und Guardrails

Erfahren Sie mehr über unsere Chatbot-Lösungen mit RAG und wie sie Ihr Unternehmenswissen zugänglich machen.

Jetzt kostenlos testen – und erleben Sie, wie ein RAG-Chatbot mit Ihren eigenen Dokumenten funktioniert.