Kontextfenster

Das Kontextfenster ist das Arbeitsgedächtnis eines Sprachmodells. Hinein zählt alles, was das Modell bei einer Anfrage sieht: Systemprompt, Gesprächsverlauf, mitgegebene Dokumente und die entstehende Antwort. Gemessen wird in Tokens. Es ist vom Trainingswissen zu unterscheiden.

Bei RAG begrenzt das Fenster, wie viele Passagen man mitgeben kann. Mehr ist nicht automatisch besser: Mit sehr viel Kontext kann die Genauigkeit sinken. Deshalb werden Texte in Chunks zerlegt und nur die besten ausgewählt.

Weiterlesen

• Anthropic: Context windows
• Anthropic: Glossar