Retrieval-Augmented Generation (RAG)

RAG verbindet eine Suche mit einem Sprachmodell. Der Ablauf in drei Schritten:

1. Retrieval: Zur Frage werden passende Dokumente oder Passagen gesucht, per Wortsuche, Vektorsuche oder beidem.
2. Augmentation: Die besten Treffer werden zusammen mit der Frage in das Kontextfenster des Modells gegeben.
3. Generation: Das Modell formuliert die Antwort, möglichst mit Quellenbelegen.

Das Modell selbst wird dabei nicht verändert, anders als beim Fine-Tuning. So lassen sich aktuelle und eigene Daten nutzen, die das Modell aus dem Training nicht kennt (Knowledge Cutoff). Den Begriff prägten Lewis und Kollegen 2020.

Die Qualität hängt an der Wissensbasis und am Retrieval: Was die Suche nicht findet, kann die Antwort nicht enthalten. Sind die Treffer unpassend, formuliert das Modell oft trotzdem eine Antwort. RAG senkt das Risiko von Halluzinationen, beseitigt es aber nicht. Wie man das prüft, steht unter RAG-Evaluation.

Weiterlesen

• Lewis u. a. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
• Anthropic: Glossar
• Galbreath u. a. (2025): AI-Infused Discovery Environments (ITAL)