Chunking

Embedding-Modelle verarbeiten nur eine begrenzte Zahl von Tokens. Lange Dokumente werden deshalb in Abschnitte (Chunks) zerlegt, oft mit etwas Überlappung, damit kein Zusammenhang an der Schnittstelle verloren geht. Gesucht wird dann auf Ebene der Abschnitte, und ein Dokument wird nach seinem besten Abschnitt bewertet.

Für RAG hat das einen zweiten Nutzen: In das Kontextfenster kommen nur die passenden Stellen. Wie groß die Abschnitte sind und wo geschnitten wird, beeinflusst die Trefferqualität deutlich.

Weiterlesen

• OpenSearch: Text chunking