RAG-Evaluation

Ein RAG-System kann an zwei Stellen scheitern: beim Finden und beim Formulieren. Der Ansatz RAGAS prüft deshalb drei Dinge getrennt:

• Findet das Retrieval relevante und fokussierte Passagen?
• Nutzt das Sprachmodell diese Passagen treu, ohne Eigenes hinzuzufügen?
• Ist die Antwort selbst gut und passend zur Frage?

Dazu kommt bei Sprachmodellen die Wiederholbarkeit: Dieselbe Frage kann andere Quellen und eine andere Antwort ergeben. Tests sollten deshalb mehrfach laufen und nach jedem Modellwechsel wiederholt werden. Für den Retrieval-Teil gelten die Mittel der Relevanzbewertung.

Weiterlesen

• Es u. a. (2023): RAGAS, Automated Evaluation of Retrieval Augmented Generation
• Galbreath u. a. (2025): AI-Infused Discovery Environments (ITAL)