RAG erklärt: Was KMU jetzt wissen müssen

Jedes Unternehmen hat ein Wissensproblem. Preislisten in Ordnern, Prozessdokumente auf dem Server, Erfahrungswissen in den Köpfen langjähriger Mitarbeiter. Wenn jemand kündigt, geht Wissen verloren. Wenn ein neuer Kollege anfängt, dauert es Monate bis er sich auskennt. Und wenn ein Kunde abends um 21 Uhr eine Frage hat, antwortet niemand.

KI-Tools wie ChatGPT haben daran wenig geändert. Sie wissen viel über die Welt, aber nichts über Ihre Firma. Fragen Sie ChatGPT nach Ihrem Reklamationsprozess, nach Ihren Sonderkonditionen für Stammkunden oder nach dem Wartungsintervall Ihrer Spezialmaschine — und Sie bekommen bestenfalls eine allgemeine Antwort, schlimmstenfalls eine frei erfundene.

Genau dieses Problem löst RAG. Und es lohnt sich zu verstehen, was dahintersteckt.

Was RAG eigentlich ist

RAG steht für Retrieval-Augmented Generation. Auf Deutsch: abruferweiterte Generierung. Das klingt sperrig, die Idee dahinter ist aber simpel.

Stellen Sie sich einen neuen Mitarbeiter vor. Hochintelligent, sprachlich perfekt, lernwillig. Aber am ersten Tag weiß er nichts über Ihre Firma. Er kennt weder Ihre Produkte noch Ihre Preise noch Ihren Ablauf bei Reklamationen. Was tun Sie? Sie geben ihm die Unterlagen zum Lesen.

RAG macht genau das mit einer KI. Sie geben ihr Ihre Dokumente, Ihre Produktdaten, Ihre Prozessbeschreibungen. Und plötzlich kann sie Fragen beantworten, die nur jemand beantworten könnte, der sich in Ihrem Unternehmen auskennt.

Der Unterschied zu „alles in ChatGPT reinkopieren" ist dabei entscheidend: Ein RAG-System durchsucht Ihre Dokumente intelligent nach Bedeutung, nicht nach Stichwörtern. Wenn jemand nach einer „wasserdichten Jacke" fragt, findet das System auch „Regenschutzbekleidung". Und Ihre Daten bleiben dabei auf Ihrem Server — nicht auf amerikanischen Plattformen.

Wie RAG funktioniert — ohne Informatik-Studium

Der Prozess hat drei Schritte, die der Name schon verrät:

Abruf: Ein Nutzer stellt eine Frage. Das System durchsucht Ihre Wissensdatenbank und findet die relevantesten Textabschnitte — nicht per Stichwortsuche, sondern basierend auf der Bedeutung der Frage.

Erweiterung: Die gefundenen Passagen werden zusammen mit der Frage an ein Sprachmodell übergeben. Die KI bekommt also nicht nur die Frage, sondern auch die richtigen Informationen aus Ihren Dokumenten dazu.

Generierung: Das Sprachmodell formuliert eine verständliche Antwort — basierend auf Ihren echten Daten. Nicht auf Vermutungen, nicht auf allgemeinem Internetwissen.

Damit das funktioniert, werden Ihre Dokumente vorher aufbereitet: in sinnvolle Abschnitte zerteilt und in einer speziellen Datenbank gespeichert. Das passiert einmal bei der Einrichtung und danach bei jeder Aktualisierung. Der laufende Betrieb kostet überraschend wenig.

Warum nicht einfach ChatGPT?

Drei Gründe, die im KMU-Alltag den Unterschied machen:

Datenschutz. Ihre Preislisten, Verträge und internen Prozesse haben auf amerikanischen Servern nichts verloren. Ein RAG-System kann vollständig auf europäischen Servern laufen — mit einem französischen KI-Anbieter, auf deutschen Servern, DSGVO-konform.

Menge. ChatGPT hat ein begrenztes Textfenster. Ihre 500 Produktdatenblätter passen da nicht rein. Ein RAG-System findet automatisch die drei bis fünf relevanten Seiten aus Tausenden.

Aktualität. ChatGPT hat einen Wissensstand, der Monate zurückliegt. Ein RAG-System hat den Stand von heute, weil es Ihre aktuellen Dokumente durchsucht.

Konkrete Use Cases für Unternehmen

Wo RAG einen echten Unterschied macht, hängt von der Branche ab. Hier sind die wichtigsten Einsatzfelder — ohne Übertreibung, basierend auf dem, was heute produktionsreif funktioniert.

Kundenservice und Vertrieb

Ein Chatbot auf Ihrer Website, der nicht nur „Wie kann ich helfen?" fragt, sondern Ihre Produkte, Preise und Verfügbarkeiten tatsächlich kennt. Ein Kunde fragt: „Machen Sie auch Fassadendämmung bei Altbau mit Denkmalschutz?" — und bekommt eine fundierte Antwort statt einer Vertröstung. Das funktioniert 24 Stunden am Tag, in mehreren Sprachen, ohne Personalkosten.

Für Vertriebsteams: „Was haben wir Kunde Müller letztes Mal angeboten?" oder „Welche Argumente gegen Mitbewerber X?" — das System durchsucht CRM-Notizen, alte Angebote und Wettbewerbsanalysen.

Internes Wissensmanagement

Das Wissen, das in Köpfen, E-Mails und Ordnern verstreut ist, wird zentral durchsuchbar. Neue Mitarbeiter stellen dem System ihre Fragen statt dem genervten Kollegen. Einarbeitungszeit: von drei Monaten auf einen.

Für Techniker im Außendienst: „Welches Dichtungskit für Pumpenmodell XR-450, Baujahr 2017?" — Teilenummer plus Einbauanleitung, direkt aufs Handy.

Dokumentenanalyse und Compliance

Eingehende Verträge gegen eigene Standards prüfen. Neue Vorschriften gegen bestehende Prozesse abgleichen. Ausschreibungen auf Machbarkeit prüfen — das System durchsucht Referenzprojekte, Zertifizierungen und Kapazitäten.

Branchenspezifische Anwendungen

Immobilienverwaltung: Mieterdaten, Verträge, Betriebskosten, Wartungsprotokolle. „Wann wurde die Heizung in Top 3 zuletzt gewartet?"

Produktion: Maschinenhandbücher, Wartungspläne, Fehlercodes. „Maschine zeigt Fehlercode E-412 — was tun?" — Antwort inklusive Anleitung.

Gastronomie und Hotellerie: Speisekarten, Allergeninfos, Hausregeln, lokale Tipps für Gäste. In jeder Sprache.

Handwerk: Produktdatenblätter, Einbauanleitungen, Materialvergleiche. Der Geselle auf der Baustelle hat das gesamte Firmenwissen in der Hosentasche.

Was es kostet — eine ehrliche Einordnung

Die Infrastrukturkosten für ein RAG-System sind für die meisten KMU überraschend niedrig. Ein Standard-Setup mit europäischem KI-Anbieter und deutschem Server liegt bei 30 bis 40 Euro im Monat. Weniger als ein Handyvertrag.

Die Projektkosten für die Einrichtung hängen vom Umfang ab: Ein Website-Chatbot mit bis zu 100 Seiten Content liegt typischerweise zwischen 2.500 und 4.000 Euro. Ein internes Wissensystem mit 500 Dokumenten zwischen 3.000 und 6.000 Euro. Ein Standard-Chatbot kann in zwei bis drei Wochen live sein.

Das sind keine Mondpreise. Verglichen mit einem halben Personalkosten-Monat für einen Support-Mitarbeiter relativieren sich die Zahlen schnell.

Was RAG nicht kann

Fairerweise: RAG ist kein Wundermittel. Die Qualität der Antworten steht und fällt mit der Qualität Ihrer Dokumente. Wenn Ihre Produktdatenblätter veraltet sind, gibt das System veraltete Antworten. Wenn Ihre Prozessdokumentation lückenhaft ist, sind es die Antworten auch.

RAG ersetzt auch keine strategischen Entscheidungen. Es kann Informationen finden und aufbereiten, aber es „versteht" Ihr Geschäft nicht im menschlichen Sinne. Es ist ein Werkzeug, kein Berater.

Und: Die Einrichtung erfordert technisches Know-how. Wie Dokumente zerteilt werden, welches Embedding-Modell zum Einsatz kommt, wie die Suchqualität optimiert wird — das sind keine Trivialitäten. Hier trennt sich Expertise von Spielerei.

Der Blick nach vorn

RAG ist keine Zukunftsmusik. Die Technologie ist produktionsreif, die Kosten sind KMU-tauglich, und die regulatorischen Rahmenbedingungen in der EU werden mit dem AI Act ab August 2026 klarer. 51 Prozent der größeren Unternehmen setzen RAG bereits ein. Für den Mittelstand öffnet sich gerade das Zeitfenster, in dem die Technologie erschwinglich und gleichzeitig ausgereift genug ist.

Wer sich jetzt damit beschäftigt, hat in einem Jahr einen Vorsprung vor der Konkurrenz. Wer wartet, bis der Steuerberater es empfiehlt, ist zu spät.

Über webse.at

webse.at ist ein auf KI-Engineering spezialisiertes Studio in der Alpe-Adria-Region. Mit Jukeep betreibt webse.at ein eigenes RAG-basiertes Wissensmanagement-Produkt mit über 5.000 Embeddings in Produktion — das Thema ist also nicht Theorie, sondern tägliche Praxis. Dazu kommen eigene Open-Source-Bibliotheken für Embedding-Migration, zeitgewichtete Vektorsuche und semantische Deduplizierung, die RAG-Systeme robuster machen. Alle Systeme laufen DSGVO-konform auf europäischer Infrastruktur.

🎙️ Die ausführliche Diskussion gibt es in unserer Podcast-Episode: Auf Spotify anhören →

WEBSE-Lexikon:

• RAG (Retrieval-Augmented Generation): Technologie, die einem KI-Sprachmodell Zugang zu externen Datenquellen gibt. Statt aus dem Trainingswissen zu antworten, durchsucht die KI zuerst eine Wissensdatenbank und antwortet auf Basis der gefundenen Dokumente. Reduziert Halluzinationen und ermöglicht firmenspezifische Antworten.
• Embedding: Eine mathematische Darstellung eines Textes als Zahlenvektor. Erfasst die Bedeutung statt der exakten Wörter. Ermöglicht bedeutungsbasierte Suche: „wasserdichte Jacke" findet auch „Regenschutzbekleidung".
• Vektor-Datenbank: Spezialisierte Datenbank für Embeddings. Ermöglicht schnelle Ähnlichkeitssuche über Millionen von Textabschnitten. PostgreSQL mit pgvector ist eine bewährte, kosteneffiziente Variante.
• Chunking: Das Zerteilen von Dokumenten in kleine, sinnvolle Abschnitte für die Vektordatenbank. Die Chunk-Größe und -Strategie beeinflusst die Qualität der Suchergebnisse massiv. Zu groß: unpräzise Treffer. Zu klein: fehlender Kontext.
• Halluzination: Wenn ein KI-Modell Fakten erfindet und sie überzeugend als wahr präsentiert. RAG reduziert dieses Problem, weil das Modell auf echten Dokumenten basiert statt auf Vermutungen.
• LLM (Large Language Model): Großes Sprachmodell wie GPT-4, Claude oder Mistral. Der Teil des RAG-Systems, der die gefundenen Textabschnitte in eine verständliche Antwort umformuliert.
• DSGVO-Konformität: Datenschutz-Grundverordnung der EU. Für RAG-Systeme relevant, weil Firmendaten verarbeitet werden. Europäische Anbieter und Server vermeiden das CLOUD-Act-Risiko durch US-Unternehmen.
• Hybrid Retrieval: Kombination aus Vektor-Suche (Bedeutung) und klassischer Keyword-Suche für bessere Trefferquoten. Fängt Fälle ab, die reine Bedeutungssuche übersieht.
• MCP (Model Context Protocol): Von Anthropic entwickelter Standard, über den KI-Agenten mit externen Tools kommunizieren. Ermöglicht RAG-Systemen die Anbindung an Kalender, CRM, E-Mail und andere Unternehmenssoftware.
• GEO (Generative Engine Optimization): Optimierung von Website-Inhalten, damit KI-Suchmaschinen wie ChatGPT, Perplexity oder Claude die eigene Firma in ihren Antworten empfehlen. Verwandt mit RAG, weil KI-Suchmaschinen intern eigene RAG-Systeme betreiben.