Was ist ein Kontextfenster in der KI?

Ein Kontextfenster ist die größte Textmenge, gemessen in Tokens, die ein großes Sprachmodell in einer einzigen Anfrage verarbeiten kann. Alles, was das Modell zur Erzeugung seiner Antwort heranzieht, also der Systemprompt, der bisherige Gesprächsverlauf, alle abgerufenen Dokumente und die Frage des Nutzers, muss in dieses Fenster passen. Ist die Grenze erreicht, werden ältere Inhalte verworfen, gekürzt oder zusammengefasst.

Das Kontextfenster ist einer der folgenreichsten Entwurfsparameter jeder Anwendung auf LLM-Basis. Es bestimmt, wie viel Hintergrund ein Modell beim Schlussfolgern halten kann, wie viele Dokumente ein RAG-System auf einmal abrufen kann und wie viele Gesprächsrunden laufen können, bevor das Modell den Faden verliert. Die Fenster der Spitzenmodelle sind von den 2.048 Tokens von GPT-3 (2020) auf 10 Millionen Tokens bei Metas Llama 4 Scout (2025) gewachsen, fast das Fünftausendfache in fünf Jahren.

Was ist ein Kontextfenster?

Jedes LLM ist eine Maschine fester Größe: Es nimmt eine festgelegte Zahl von Tokens als Eingabe entgegen und erzeugt Tokens als Ausgabe, eines nach dem anderen. Das Kontextfenster ist die Obergrenze für Eingabe und Ausgabe zusammen (je nach Anbieter auch getrennt). Das Fenster ist der Arbeitsspeicher des Modells, aber anders als menschliches Gedächtnis wird es zu Beginn jeder Anfrage auf null gesetzt. Was das Modell aus dem bisherigen Verlauf „erinnert“, erinnert es nur, weil die Anwendung es erneut in den Prompt gespielt hat.

Ein Kontextfenster ist etwas anderes als das weiter gefasste Gedächtnis eines Modells. Das Fenster ist kurzfristig und gilt je Anfrage. Dauerhaftes Gedächtnis ist dagegen etwas, das die Anwendungsschicht hinzufügt, indem sie frühere Gespräche speichert, zusammenfasst und passende Teile in jeden neuen Prompt einspielt. Das Kontextfenster ist der Engpass, durch den jedes Stück dieses Gedächtnisses hindurch muss.

Wie Tokens funktionieren

LLMs sehen keinen Text, sie sehen Tokens. Ein Token ist ein Textstück, das ein Tokenizer erzeugt, also der Algorithmus, mit dem ein Modell Eingaben in handhabbare Teile zerlegt. Tokens entsprechen grob häufigen Zeichenfolgen: Kurze Wörter („der“, „und“) sind meist ein Token, längere oder seltene Wörter zerfallen in mehrere. Auch Satzzeichen, Leerraum und Unicode-Zeichen verbrauchen Tokens.

Eine brauchbare Faustregel für englischen Text, mit dem Vorbehalt, dass das genaue Verhältnis je nach Tokenizer und Modell schwankt. Google setzt 100 Gemini-Tokens mit etwa 60 bis 80 englischen Wörtern an, und laut Anthropic entspricht 1M Tokens mit dem aktuellen Claude-Tokenizer rund 555.000 Wörtern:

• 1.000 Tokens entsprechen etwa 550 bis 800 englischen Wörtern oder ungefähr ein bis zwei Seiten einfacher Prosa
• 128.000 Tokens entsprechen etwa 70.000 bis 100.000 Wörtern oder einem Buch von einigen Hundert Seiten
• 1.000.000 Tokens entsprechen etwa 550.000 bis 800.000 englischen Wörtern, je nach Tokenizer, am unteren Ende ungefähr der Länge von War and Peace (Krieg und Frieden)
• 10.000.000 Tokens, das Fenster von Llama 4 Scout, decken rund 5,5 bis 8 Millionen Wörter ab, so viel wie eine kleine Bibliothek

Andere Sprachen als Englisch, Code und strukturierte Daten werden anders zerlegt. Tschechisch, Deutsch und andere formenreiche Sprachen brauchen für dieselbe Aussage oft mehr Tokens. Quellcode ist oft sparsamer (ein Token kann ein ganzes Symbol wie function darstellen), aber viel Leerraum oder ungewöhnliche Zeichen treiben die Zahl in die Höhe. Prüfen Sie den Tokenverbrauch immer mit dem Tokenizer des Anbieters, bevor Sie Prompts entwerfen, die auf enge Grenzen angewiesen sind.

Größen der Kontextfenster nach Modell (2026)

Im Oktober 2026 fallen die Fenster der Spitzenmodelle in vier Stufen. Die Modellpaletten ändern sich schnell, prüfen Sie deshalb die Dokumentation des Anbieters, bevor Sie auf eine bestimmte Grenze hin entwerfen. Die Zahlen unten nennen das größte beworbene Fenster; der tatsächlich nutzbare Kontext ist meist kleiner (siehe lost in the middle).

Stufe 1: 10M Tokens

Meta Llama 4 Scout, im April 2025 erschienen, hat ein Kontextfenster von 10 Millionen Tokens, eines der größten veröffentlichten Fenster. In dieser Größe hält das Modell eine ganze mittelgroße Codebasis oder ein Jahr E-Mail-Verlauf in einer einzigen Anfrage. Wie nützlich das obere Ende in der Praxis ist, wird diskutiert, siehe die Abschnitte zu Kosten und zu „lost in the middle“ weiter unten.

Stufe 2: rund 1M Tokens

Die Stufe von einer Million Tokens ist der Mainstream unter den Spitzenmodellen. Die aktuellen Modelle von Anthropic, Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5, haben alle Fenster von 1M Tokens mit bis zu 128K Ausgabetokens. Gemini 3.1 Pro (Preview) und Gemini 3.8 Flash von Google nehmen 1.048.576 Eingabetokens an und geben bis zu 65.536 Tokens aus. GPT-6.1 Sol von OpenAI hat ein Fenster von 1.050.000 Tokens (bis zu 922.000 Eingabetokens) mit 128K Ausgabe, oberhalb von 272K Eingabetokens zu einem höheren Preis. Llama 4 Maverick unterstützt 1M Tokens.

Stufe 3: 128K Tokens

Die Stufe von 128K umfasst heute vor allem ältere oder kleinere Modelle. GPT-4 Turbo (2023), das OpenAI am 23. Oktober 2026 abschalten will, GPT-4o, Llama 3.1 405B und Mistral Large 2 liegen alle bei 128K. Viele Anwendungen im Unternehmen, RAG-Strecken und Agenten-Rahmenwerke sind um diese Stufe herum gebaut, nicht weil größere Fenster fehlten, sondern weil sie die Kosten oder die Latenz nicht immer wert sind.

Stufe 4: unter 32K Tokens

Kleinere und ältere Modelle füllen weiter besondere Rollen aus: Klassifizierer, Embedding-Modelle, auf Aufgaben nachtrainierte Modelle und lokal auf Edge-Geräten betriebene LLMs. Ihre Fenster von 4K bis 32K sind eine bewusste Entscheidung, sie optimieren auf Geschwindigkeit und Inferenzkosten statt auf Breite.

Warum das Kontextfenster zählt

Das Kontextfenster begrenzt unmittelbar, was eine LLM-Anwendung in einem Zug leisten kann. Dasselbe Modell mit einem Fenster von 8K gegenüber einem von 1M ist praktisch zwei sehr verschiedene Produkte:

• Dokumente verarbeiten: Ein Fenster von 128K fasst einen Vertrag von einigen Hundert Seiten, ein Fenster von 8K nicht. Analyse ganzer Dokumente, Vergleiche über Dokumente hinweg und Zusammenfassungen in großer Zahl hängen an der Fenstergröße.
• Über Codebasen schließen: Große Fenster lassen Programmierassistenten Abhängigkeiten über mehrere Dateien verstehen. Ein Fenster von 1M Tokens fasst einen nennenswerten Ausschnitt einer echten produktiven Codebasis.
• Gesprächstiefe: Mehrstufige Chatbots spielen den Verlauf in den Prompt zurück. Ein kleines Fenster erzwingt beherztes Kürzen, ein großes bewahrt Feinheiten und frühere Anweisungen.
• Verlässlichkeit von Agenten: KI-Agenten, die Werkzeuge nutzen, sammeln bei jedem Schritt Beobachtungen an. Größere Fenster lassen Agenten längere Aufgaben bearbeiten, bevor sie an die Grenze stoßen und ihren Zustand verlieren.
• Abruftiefe bei RAG: Ein größeres Fenster erlaubt, je Frage mehr Passagen abzurufen, was die Trefferquote hebt. Wie unten beschrieben, ist das aber nicht umsonst zu haben.

Kontextfenster, RAG und Fine-Tuning

Ein verbreiteter Irrtum ist, größere Kontextfenster machten Retrieval-Augmented Generation (RAG) überflüssig. In der Praxis lösen die drei Zugänge verschiedene Probleme und werden meist verbunden.

• Das Kontextfenster ist kurzfristiges Gedächtnis je Anfrage. Es wird jedes Mal neu gefüllt und ist nach der Antwort wieder fort.
• RAG ruft nur die passendsten Abschnitte eines weit größeren Bestands ab und setzt sie ins Fenster ein. Es skaliert auf Terabytes an Dokumenten, die kein Fenster fassen könnte, auch keines mit 10M Tokens.
• Fine-Tuning backt Wissen oder Verhalten in die Modellgewichte selbst ein. Das Modell lernt Muster, die es dann anwendet, ohne den Quelltext im Prompt zu brauchen.

Selbst mit einem Fenster von 10M Tokens setzen viele produktive Systeme weiter auf RAG, aus einem einfachen Grund: Kosten und Latenz wachsen mit der Eingabegröße. Jede Anfrage mit Millionen Tokens vollzustopfen ist Verschwendung, wenn nur einige Tausend einschlägig sind. RAG hält den Prompt fokussiert, und das Fenster gibt den Raum, damit die abgerufenen Ausschnitte, der Systemprompt und die Frage zusammen hineinpassen.

Das Problem „lost in the middle“

Ein Modell, das mit 1M Tokens wirbt, arbeitet bei 1M Tokens nicht zwangsläufig gut. Die Forschung von Liu et al. (2023) hat gezeigt, dass LLMs am besten abschneiden, wenn die einschlägige Information am Anfang oder am Ende ihres Kontexts steht, mit merklichem Genauigkeitsverlust für Fakten, die in der Mitte liegen. Das Phänomen ist weithin als „lost in the middle“ bekannt.

In dieser Studie beantwortete GPT-3.5-Turbo Fragen über 20 abgerufene Dokumente. Die Genauigkeit lag bei 75,8 %, wenn das Dokument mit der Antwort zuerst kam, bei 53,8 %, wenn es in der Mitte lag, und bei 63,2 %, wenn es zuletzt kam, gegenüber 56,1 % ganz ohne Dokumente (Closed-Book). Eine in der Mitte vergrabene Antwort schnitt schlechter ab als gar kein Abruf. Die Autoren stellten außerdem fest, dass Modelle mit erweitertem Kontext ihren Kontext nicht unbedingt besser nutzten als ihre Gegenstücke mit kürzerem Fenster. Die Ergebnisse unterscheiden sich je Modell und Aufgabe, messen Sie also selbst.

Was daraus folgt:

• Setzen Sie entscheidende Anweisungen und wichtige Fakten an den Anfang oder ans Ende des Prompts, nicht in die Mitte.
• Prüfen Sie jede Anwendung, die sich auf Erinnerung über langen Kontext verlässt, mit synthetischen Nadel-im-Heuhaufen-Tests über genau die Fensterlänge, die Sie einsetzen wollen.
• Behandeln Sie die beworbene Fenstergröße als Höchstwert, nicht als Arbeitskapazität.

Abwägungen zwischen Kosten und Leistung

Die Kontextlänge ist einer der wichtigsten Kostenhebel im Betrieb von LLMs. Drei Punkte zählen:

Kosten

API-Anbieter rechnen je Token der Ein- und Ausgabe ab. Zum Grundpreis kostet eine Anfrage mit 500K Eingabetokens rund viermal so viel wie eine mit 128K, unabhängig davon, wie viel von diesem Kontext das Modell für die Antwort tatsächlich nutzt. Manche Anbieter verlangen oberhalb einer Schwelle mehr: OpenAI berechnet Prompts für GPT-6.1 Sol mit mehr als 272K Eingabetokens mit dem 2-Fachen für Eingabe und gecachte Eingabe und dem 1,5-Fachen für die Ausgabe, und zwar für die gesamte Anfrage.

Latenz

Die Zeit bis zum ersten Token wächst mit der Eingabegröße. Langer Kontext kann mehrere Sekunden, mitunter Dutzende Sekunden, Latenz hinzufügen, bevor das Modell mit der Ausgabe beginnt. Für interaktive Oberflächen ist das oft die bindende Grenze, nicht die Kosten.

Spielraum für die Ausgabe

Manche Anbieter rechnen Ein- und Ausgabetokens gegen dasselbe Gesamtfenster. Eine lange Eingabe kann zu wenig Raum für eine lange Antwort lassen. Prüfen Sie immer, ob der Anbieter einen ausdrücklichen Parameter max_output_tokens anbietet und ob die Ausgabe getrennt gezählt wird.

Bewährtes Vorgehen mit Kontextfenstern

Über produktive Systeme hinweg liefert eine kleine Zahl von Mustern durchgängig bessere Ergebnisse als naives Vollstopfen des Kontexts.

• Abrufen statt abladen: Nutzen Sie RAG, um die Inhalte auf das tatsächlich Einschlägige zu filtern. Selbst mit einem Fenster von 10M schlägt ein fokussierter Prompt von 20K einen von 1M oft in Genauigkeit und Kosten. Die Dokumentation von Anthropic hält fest, dass Genauigkeit und Erinnerung mit wachsender Tokenzahl nachlassen, was sie context rot nennt.
• Anker an die Ränder: Setzen Sie den Systemprompt, entscheidende Anweisungen und die Frage des Nutzers an den Anfang oder ans Ende des Kontexts. Die Mitte bleibt den abgerufenen Belegen vorbehalten.
• Beherzt verdichten: Fassen Sie ältere Gesprächsrunden zusammen, statt sie wörtlich zurückzuspielen.
• Mit Überlappung zerlegen: Zerlegen Sie lange Dokumente für den Abruf in überlappende Chunks, damit wichtige Passagen nicht an einer Grenze zerschnitten werden.
• Steuern, was ins Fenster kommt: Jedes Token im Kontext kostet Geld und beeinflusst die Ausgabe. Filtern Sie abgerufene Inhalte nach Verantwortung, Klassifizierung und Lineage, bevor Sie sie einsetzen, und nach Aktualität, wenn Ihre Plattform sie erfasst. Hier zahlen sich aktive Metadaten aus.
• In Ihrer echten Arbeitsgröße prüfen: Trauen Sie beworbenen Grenzen nie. Fahren Sie Nadel-im-Heuhaufen-Prüfungen in genau der Promptgröße, die Ihre Anwendung tatsächlich nutzt.
• Den Tokenverbrauch im Betrieb überwachen: Messen Sie jeden Aufruf. Der Tokenverbrauch ist der sicherste Frühindikator für aus dem Ruder laufende Kosten und für nachlassende Qualität.

Das Kontextfenster ist eine mächtige Ressource, aber es ersetzt keinen verankerten, gesteuerten Zugang zu Unternehmensdaten. Die verlässlichsten KI-Systeme verbinden maßvolle Fenster mit starkem Abruf über aktive Metadaten, Data Lineage und einen Semantic Layer und geben dem Modell genau den Kontext, den es braucht, nicht mehr.

Quellen

• Brown et al., Language Models are Few-Shot Learners (2020), arXiv:2005.14165
• Meta, Llama 4 model card
• Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023), arXiv:2307.03172
• Anthropic, Models overview und Context windows, Claude-Dokumentation
• OpenAI, Models und GPT-6.1 Sol und Deprecations, Dokumentation der OpenAI API
• Google, Gemini models und Understand and count tokens, Dokumentation der Gemini API