Embedding

Ein Embedding-Modell übersetzt einen Text in einen Vektor, also eine lange Reihe von Zahlen. Texte mit ähnlicher Bedeutung liegen im Vektorraum nah beieinander, auch wenn sie andere Wörter verwenden. Die Nähe wird meist als Kosinus-Ähnlichkeit gemessen.

Für die semantische Suche werden alle Dokumente vorab in Embeddings umgerechnet und gespeichert. Die Frage wird ebenfalls umgerechnet, dann sucht die Vektorsuche die nächsten Nachbarn. Lange Texte werden vorher in Chunks zerlegt.

Die Wahl des Modells ist eine fachliche Entscheidung: Beim Collections Explorer bewerteten Bibliothekarinnen und Bibliothekare die Treffer dreier Modelle, bevor eines gewählt wurde. Wechselt man das Modell, müssen alle Dokumente neu umgerechnet werden.

Weiterlesen

• Reimers/Gurevych (2019): Sentence-BERT
• Karpukhin u. a. (2020): Dense Passage Retrieval
• Caizzi/Deschenes (2026): From Card Catalogs to Semantic Search (ITAL)