KI-Chatbots, die aus Ihren Unterlagen antworten — mit Quellenangabe.
Ein Assistent, der Ihre Preislisten, Handbücher und Verträge kennt, wiederkehrende Fragen rund um die Uhr beantwortet und zu jeder Antwort sagt, woher sie stammt. Nicht geraten, sondern nachgeschlagen.
Was dabei herauskommt.
Warum ein normales Sprachmodell hier nicht reicht.
Ein Sprachmodell wie ChatGPT hat Ihre Preisliste nie gesehen. Fragt jemand nach Ihren Konditionen, erzeugt es die plausibelste Antwort, die zu der Frage passt — und das ist, ohne jede böse Absicht, eine erfundene. Für Konditionen, Fristen und technische Angaben ist das unbrauchbar.
Man kann ein Modell mit eigenen Daten nachtrainieren. Das ist teuer, muss bei jeder Änderung wiederholt werden und macht trotzdem nicht nachvollziehbar, woher eine Antwort stammt. Für die allermeisten Unternehmen ist es der falsche Weg.
RAG dreht das Vorgehen um: Nicht das Modell lernt Ihre Dokumente, sondern es bekommt bei jeder einzelnen Frage die passenden Stellen daraus vorgelegt. Ändert sich ein Dokument, ist die Änderung nach dem nächsten Abgleich wirksam — ohne Training, ohne neues Modell.
Was bei einer Frage tatsächlich passiert.
Vier Schritte, von der Ablage bis zur Antwort. Die ersten beiden laufen einmalig beim Einrichten und danach bei jeder Änderung, die letzten beiden bei jeder Frage.
- 01
Zerlegen
Ihre Dokumente werden in sinnvolle Abschnitte geschnitten — meist ein paar hundert Wörter, an Überschriften und Absätzen entlang statt nach Zeichenzahl. Ein Abschnitt, der mitten im Satz endet, liefert später eine Antwort, die mitten im Satz endet.
- 02
Einbetten
Jeder Abschnitt bekommt eine Zahlenrepräsentation seiner Bedeutung — einen Vektor. Texte mit ähnlicher Bedeutung liegen darin nah beieinander, auch wenn sie kein gemeinsames Wort haben. Deshalb findet die Suche „Wie komme ich aus dem Vertrag raus?“ auch dann, wenn im Dokument „Kündigungsfrist“ steht.
- 03
Suchen
Kommt eine Frage, wird sie genauso eingebettet und mit den gespeicherten Abschnitten verglichen. Die besten Treffer gehen weiter — in der Praxis kombiniert mit klassischer Stichwortsuche, weil reine Bedeutungssuche bei Artikelnummern, Paragraphen und Eigennamen schwächelt.
- 04
Antworten
Das Sprachmodell bekommt die gefundenen Abschnitte zusammen mit der Frage und der Anweisung, ausschließlich daraus zu antworten und die Quelle zu nennen. Findet es nichts Passendes, soll es das sagen — nicht raten.
Wo Ihre Daten bleiben.
Die Frage kommt in jedem Erstgespräch, und sie ist berechtigt. Die Antwort hat zwei Teile.
Ihr Dokumentenbestand verlässt Deutschland nicht. Die Dateien und die daraus erzeugte Suchdatenbank liegen auf einem Server in einem deutschen Rechenzentrum, mit Auftragsverarbeitungsvertrag. Die Bedeutungssuche läuft dort, nicht bei einem Dienstleister.
An den Modellanbieter geht nur der Ausschnitt für die einzelne Antwort. Also die Frage und die zwei bis fünf Abschnitte, die dafür gefunden wurden — nicht Ihr Bestand. Bei den üblichen Anbietern lässt sich vertraglich ausschließen, dass diese Daten für Training verwendet werden; das prüfe ich im Projekt und halte es schriftlich fest. Wenn Ihnen auch das zu viel ist, prüfe ich ein Modell, das vollständig auf Ihrer eigenen Infrastruktur läuft. Das kostet mehr Rechenleistung und liefert bei kleineren Modellen etwas schwächere Antworten — für interne Anwendungen ist es oft trotzdem der richtige Weg.
Enthalten Ihre Dokumente personenbezogene Daten, gehört das in die Verarbeitungsübersicht und je nach Umfang in eine Datenschutz-Folgenabschätzung. Ich sage Ihnen, was aus technischer Sicht nötig ist; die rechtliche Bewertung gehört zu Ihrem Datenschutzbeauftragten.
Was so ein Assistent nicht kann.
Drei Grenzen, die Sie vor der Entscheidung kennen sollten — nicht danach.
Er ist nur so gut wie Ihre Unterlagen
Steht die Antwort in keinem Dokument, kann sie auch nicht gefunden werden. Widersprechen sich zwei Fassungen einer Preisliste, wird der Assistent das treu wiedergeben. Der Aufwand liegt oft weniger in der Technik als im Aufräumen der Dokumente davor.
Er ersetzt keine rechtsverbindliche Auskunft
Für Angebote, Zusagen und alles mit Vertragswirkung gehört ein Mensch dazwischen. Ich baue die Übergabe an eine echte Person deshalb von vornherein ein, statt sie nachzurüsten.
Er kostet im Betrieb Geld
Jede Anfrage verursacht Kosten beim Modellanbieter — bei üblichen Nutzungszahlen im niedrigen zweistelligen Bereich pro Monat, bei hohem Aufkommen mehr. Ich sage Ihnen die Größenordnung vorher und richte ein Limit ein.
Wann Sie mich dafür nicht brauchen.
Wenn Ihre Kundschaft im Wesentlichen fünf Fragen stellt, ist eine gut geschriebene FAQ-Seite die bessere Antwort: schneller gebaut, kostenlos im Betrieb, und Suchmaschinen können sie lesen. Ein Assistent lohnt sich, wenn die Antworten in vielen Dokumenten verstreut liegen und niemand sie auswendig kennt.
Kostenrahmen
Nach Absprache
Der Aufwand hängt an Zustand und Menge Ihrer Dokumente, nicht an der Anzahl der Fragen. Dazu kommen laufende Kosten für Hosting und Modellanfragen — bei üblichen Nutzungszahlen im niedrigen zweistelligen Bereich pro Monat. Beides steht vor Projektstart im Angebot.
Häufige Fragen zu KI-Chatbots mit RAG
Was heißt RAG genau?
RAG steht für „Retrieval Augmented Generation“, also etwa „Erzeugung mit vorgeschaltetem Nachschlagen“. Statt das Sprachmodell aus seinem Training antworten zu lassen, wird zuerst in Ihren eigenen Dokumenten nachgeschlagen; die gefundenen Stellen bekommt das Modell mit der Anweisung, ausschließlich daraus zu antworten. Das ist der Unterschied zwischen einem Assistenten, der Ihre Preisliste kennt, und einem, der sich eine plausible Preisliste ausdenkt.
Erfindet der Assistent trotzdem Antworten?
Das Risiko sinkt deutlich, aber es verschwindet nicht vollständig. Ich begrenze es auf drei Wegen: Das Modell bekommt die Anweisung, ausschließlich aus den gefundenen Abschnitten zu antworten; jede Antwort nennt die Quelle, sodass Sie sie nachprüfen können; und findet die Suche nichts Passendes, antwortet der Assistent mit „weiß ich nicht“ und bietet den Weg zu einem Menschen an. Ich behaupte nicht, dass er nie danebenliegt — ich baue ihn so, dass Sie es merken.
Wo liegen meine Dokumente?
Die Dokumente und die daraus erzeugte Suchdatenbank liegen auf einem Server in Deutschland, standardmäßig bei Anbietern wie Hetzner mit Auftragsverarbeitungsvertrag. An den Modellanbieter geht nur das, was für die einzelne Antwort gebraucht wird: die Frage und die dafür gefundenen Abschnitte — nicht Ihr Dokumentenbestand. Auf Wunsch prüfe ich ein Modell, das vollständig auf Ihrer eigenen Infrastruktur läuft; das kostet mehr Rechenleistung und liefert bei kleineren Modellen etwas schwächere Antworten.
Welche Dateiformate funktionieren?
PDF, Word, Excel, Textdateien, Webseiten und die Inhalte gängiger Redaktionssysteme. Gescannte PDFs ohne Textebene brauchen vorher eine Texterkennung — das plane ich ein, wenn ich sehe, dass welche dabei sind. Bilder und Videos verarbeite ich nicht.
Wie bleibt der Assistent aktuell?
Über einen Abgleich, der nach Ihrem Rhythmus läuft: nächtlich, wöchentlich oder ausgelöst, sobald eine Datei sich ändert. Neu abgelegte Dokumente werden aufgenommen, gelöschte verschwinden auch aus den Antworten. Sie pflegen Ihre Dateien weiter dort, wo Sie es gewohnt sind.
Was kostet so ein Assistent?
Die Einrichtung hängt vor allem an Zustand und Menge Ihrer Dokumente — ein sauber gepflegter Bestand von fünfzig PDFs ist etwas anderes als zwanzig Jahre gewachsene Ablage. Dazu kommen laufende Kosten für Hosting und Modellanfragen, die bei üblichen Nutzungszahlen im niedrigen zweistelligen Bereich pro Monat liegen. Beides steht vor Projektstart im Angebot.
Können wir klein anfangen?
Das empfehle ich sogar. Nehmen Sie den Bereich mit den meisten wiederkehrenden Fragen — oft ist das der Kundenservice mit denselben zehn Themen — und lassen Sie den Assistenten erst intern für Ihr Team laufen. Sie sehen dann an echten Fragen, wo er trägt und wo Ihre Unterlagen Lücken haben, bevor er auf Ihre Kundschaft trifft.
Passt oft dazu
Alle Leistungen ansehen →Web-Entwicklung
Individuelle Webanwendungen und Websites – schnell, wartbar und ohne Baukasten-Grenzen.
Online-Shops
Shops mit sauberer Produktpflege, Zahlungsanbindung und Schnittstellen zu Ihrer Warenwirtschaft.
SEO & Sichtbarkeit
Technisch sauberes Fundament, passende Inhalte und messbare Rankings statt vager Versprechen.
Sprechen wir über KI-Chatbots mit RAG?
30 Minuten, kostenlos. Danach wissen Sie, was realistisch ist, wie lange es dauert und was es kostet.