Kontextfenster
Stand:
Das Kontextfenster ist die maximale Menge an Text — gemessen in Tokens —, die ein LLM in einem einzelnen Aufruf verarbeiten kann. Es umfasst alles: den Systemprompt, den Gesprächsverlauf, mitgelieferte Dokumente und die generierte Antwort. Was nicht ins Fenster passt, existiert für das Modell nicht.
Technisch ergibt sich die Fenstergröße aus Architektur und Training des Modells. Der Attention-Mechanismus setzt jedes Token mit jedem anderen in Beziehung, der Rechenaufwand wächst also mit der Länge — lange Kontexte sind langsamer und teurer. Die Fenster sind von einigen tausend Tokens auf Hunderttausende bis Millionen gewachsen. Ein nominell großes Fenster bedeutet aber keine gleichmäßige Nutzung: Modelle berücksichtigen Informationen in der Mitte langer Kontexte mitunter schlechter („lost in the middle“).
In der Praxis bestimmt das Kontextfenster, wie viel Wissen sich pro Anfrage mitgeben lässt — zentral für RAG und für KI-Agenten, deren Verlauf und Werkzeugausgaben das Fenster nach und nach füllen. Ein verbreitetes Missverständnis ist, dass sich ein LLM Konversationen „merkt“: Tatsächlich wird der Verlauf bei jedem Aufruf erneut mitgesendet; dauerhaftes Gedächtnis entsteht nur durch externe Speicherung. Auch die Kosten hängen daran — abgerechnet wird nach Tokens, und unnötig lange Kontexte kosten Geld und Antwortqualität.