Vergleichsstudie KI-Assistent und Discovery-Suche

An der Washington State University verglich ein Team 2024/25 die Beta des Primo Research Assistant mit der klassischen Suche in Primo. Grundlage waren 103 natürlichsprachige Anfragen, die zuvor null Treffer ergeben hatten. Bibliothekarinnen und Bibliothekare formulierten dazu Boolesche Suchen und bewerteten die Treffer beider Wege.

Ergebnisse:

• Als relevant galten 46,3 Prozent der KI-Quellen und 45,6 Prozent der klassischen Treffer, also kein klarer Unterschied.
• Beide Wege fanden weitgehend verschiedene Titel.
• Die erzeugte Übersicht half bei passenden Quellen. Bei unpassenden versuchte sie trotzdem zu antworten (Halluzination).
• Wiederholte man eine Suche, kamen fast völlig andere Quellen.

Einschränkungen nennt die Studie selbst: Null-Treffer-Anfragen sind nicht typisch, die Bewertung war nicht verblindet, und beide Systeme greifen auf verschiedene Daten zu. Ihr Fazit ist weder klarer Gewinn noch klarer Verlust. Es handelt sich um einen Fall und ein Produkt, kein Urteil über alle KI-Suchen. Siehe auch Relevanzbewertung.

Weiterlesen

• Galbreath u. a. (2025): AI-Infused Discovery Environments (ITAL)