Was ist RAG (Retrieval Augmented Generation)?

Wie es funktioniert

1. Ihre Dokumente werden in Abschnitte zerlegt und durchsuchbar abgelegt.
2. Bei einer Frage sucht das System die passenden Abschnitte heraus.
3. Diese Abschnitte werden dem Modell zusammen mit der Frage übergeben.
4. Das Modell antwortet nur auf Basis dieser Abschnitte und nennt die Fundstelle.

Warum das besser ist als ein trainiertes Modell

• Aktuell. Neue Dokumente wirken sofort; ein Training müsste wiederholt werden.
• Nachvollziehbar. Jede Aussage lässt sich einer Quelle zuordnen.
• Kontrollierbar. Rechte lassen sich pro Dokument vergeben – wer ein Dokument nicht sehen darf, bekommt auch keine Antwort daraus.
• Günstiger. Kein Training, kein spezialisiertes Modell nötig.

Wo es hakt

Die Qualität hängt fast vollständig an der Suche, nicht am Modell. Werden die falschen Abschnitte gefunden, antwortet auch ein sehr gutes Modell falsch. Der Aufwand steckt deshalb in der Aufbereitung: sinnvolle Abschnittsgrenzen, gute Metadaten, saubere Dokumente.

Ein zweiter Stolperstein sind widersprüchliche Dokumente. Liegen drei Versionen einer Richtlinie im Archiv, zitiert das System irgendeine davon. Ein Dokumentenbestand ohne erkennbaren Gültigkeitsstand liefert unzuverlässige Antworten – unabhängig von der Technik.

Typischer Einsatz

Interne Wissenssuche, Support auf Basis eigener Handbücher, Vertragsauskunft, Recherche in Projektunterlagen.