Kontextfenster

Technisch betrachtet beschreibt das Kontextfenster die Kapazität des Arbeitsspeichers eines Large Language Models (LLM) während einer laufenden Abfrage. Es wird in Tokens gemessen, was in etwa Wortfragmenten entspricht. Alles, was sich innerhalb dieses Fensters befindet – dazu gehören die aktuelle Anfrage, der bisherige Chatverlauf sowie hochgeladene Dokumente –, kann die KI in die Antwortgenerierung einbeziehen. Sobald neue Informationen das Limit überschreiten, werden die ältesten Bestandteile verdrängt und das Modell verliert den Bezug zu diesen Inhalten, was oft fälschlicherweise als mangelnde Intelligenz interpretiert wird.

Für deutsche Unternehmen ist die Größe des Kontextfensters ein entscheidender Faktor für die Prozessstabilität und Kosteneffizienz. Ein zu kleines Fenster zwingt Entwickler dazu, komplexe RAG-Systeme (Retrieval-Augmented Generation) aufzubauen, um relevante Informationen häppchenweise zuzuführen. Gleichzeitig steigen mit der Fenstergröße die Rechenkosten und die Latenz. Aus Sicht des Datenschutzes ist Vorsicht geboten: Je größer das Fenster, desto mehr sensible Unternehmensdaten landen potenziell in einem einzigen Prompt bei externen Anbietern. IT-Entscheider müssen hier abwägen, ob ein Modell mit riesigem Kontextfenster oder eine lokale Instanz mit gezielter Datenzuführung die bessere Compliance-Strategie darstellt.

Ein praktisches Beispiel findet sich im deutschen Maschinenbau bei der Analyse von Lastenheften. Ein mittelständisches Unternehmen möchte eine 150-seitige Ausschreibung gegen seine internen technischen Richtlinien prüfen. Verfügt das genutzte Modell über ein zu geringes Kontextfenster, „vergisst“ die KI während der Analyse die am Anfang des Dokuments definierten Rahmenbedingungen oder halluziniert Anforderungen hinzu. Ein ausreichend dimensioniertes Kontextfenster ermöglicht es hingegen, das gesamte Dokument sowie die internen Standards simultan zu verarbeiten, um logische Widersprüche präzise zu identifizieren, ohne den Text manuell in Teilabschnitte zerlegen zu müssen.

Aktuell zeichnet sich ein Wettrüsten der Provider ab, bei dem Kontextfenster von Millionen Tokens beworben werden. Für die Praxis ist jedoch nicht nur die schiere Größe, sondern die „Recall-Fähigkeit“ entscheidend. Viele Modelle leiden unter dem Effekt, dass Informationen in der Mitte eines riesigen Kontextes schlechter verwertet werden als am Anfang oder Ende. IT-Leiter sollten daher darauf achten, dass die Performance bei der Informationswiedergabe (Needle-In-A-Haystack-Tests) mit der theoretischen Fenstergröße korreliert, statt sich rein von hohen Token-Zahlen leiten zu lassen.