Relevanzbewertung

Um Suchsysteme zu vergleichen, braucht man Testanfragen und Urteile darüber, welche Treffer relevant sind. Menschen bewerten dazu Treffer nach festen Kriterien. Daraus berechnet man Kennzahlen wie Precision und Recall oder nDCG, das auch die Reihenfolge der Treffer einbezieht. Die Konferenzreihe TREC organisiert solche Vergleiche seit 1992.

In Bibliotheken wurde das zum Beispiel so umgesetzt: In einer Vergleichsstudie stuften drei Bibliothekarinnen und Bibliothekare Treffer als relevant, vielleicht relevant oder nicht relevant ein. Beim Collections Explorer bewerteten Fachleute die Treffer dreier Embedding-Modelle.

Einordnung: Eine solche Bewertung ist der Nachweis, den man vor einer Beschaffung festlegen sollte, statt sich auf eine Vorführung zu verlassen.

Weiterlesen

• TREC: Overview
• scikit-learn: ndcg_score
• Galbreath u. a. (2025): AI-Infused Discovery Environments (ITAL)