Warum ist Kontext im NLP wichtig?

Systeme zur Verarbeitung natürlicher Sprache deuten menschliche Sprache, und Sprache ist von Natur aus mehrdeutig. Das Wort „Bank“ hat im Wörterbuch ein Dutzend Einträge. Der Satz „Ich habe nie gesagt, dass sie mein Geld gestohlen hat“ ändert seine Bedeutung je nachdem, welches Wort betont wird. NLP-Systeme lösen solche Mehrdeutigkeiten über den Kontext auf: über die umgebenden Wörter, den Gesprächsverlauf, das Fachgebiet und das Weltwissen, das eingrenzt, was jemand tatsächlich meint.

Ohne Kontext schrumpft NLP zum Mustervergleich auf losgelösten Zeichenketten. Mit Kontext wird daraus Sprachverstehen, also die Fähigkeit, Bedeutung trotz Mehrdeutigkeit aufzulösen, Bezüge über Sätze hinweg zu verfolgen und Absichten aus dem Wortlaut zu erschließen.

Vier Ebenen von Kontext im NLP

Kontext wirkt im NLP auf vier unterschiedlichen Ebenen. Jede löst eine andere Art von Mehrdeutigkeit auf.

Lexikalischer Kontext bestimmt die Wortbedeutung aus den umgebenden Wörtern. „Java“ meint eine Programmiersprache, eine Insel in Indonesien oder eine Kaffeesorte, und die umstehenden Substantive und Verben entscheiden, welche. „Den Java-Code debuggen“ aktiviert die Programmiersprache. „Einen Java trinken“ aktiviert den Kaffee. Das Wort selbst ist identisch, die lexikalischen Nachbarn sind der Kontext.

Syntaktischer Kontext löst strukturelle Mehrdeutigkeit beim Zerlegen eines Satzes auf. „Das Fotografieren von Kindern kann anstrengend sein“ hat zwei gültige Lesarten: Kinder zu fotografieren ist anstrengend, oder Kinder, die fotografieren, sind anstrengend. Die syntaktische Struktur ist tatsächlich mehrdeutig, und erst der weitere Zusammenhang, also worüber vorher gesprochen wurde, entscheidet, welche Lesart gemeint ist.

Semantischer Kontext verbindet Wörter mit ihren Bezügen in der Welt und mit Bedeutungsrahmen. „Der Hund ist gefährlich zu füttern“ heißt entweder, dass das Füttern gefährlich ist, oder dass der Hund beim Füttern gefährlich wird. Dieselbe Oberflächenstruktur trägt zwei verschiedene Bedeutungsrahmen, und das Kontextverständnis entscheidet, welcher gilt.

Pragmatischer Kontext bringt Weltwissen und soziale Übereinkunft ein. „Können Sie mir das Salz reichen?“ ist grammatisch eine Frage nach einer Fähigkeit, pragmatisch aber eine Bitte. Zu verstehen, dass es sich um eine Bitte handelt und nicht um eine Erkundigung nach den körperlichen Fähigkeiten des Gegenübers, verlangt Wissen über Gesprächsnormen, das vollständig außerhalb des Satzes liegt.

Wie Kontext Mehrdeutigkeit auflöst

Drei zentrale Aufgaben im NLP zeigen den Kontext bei der Arbeit.

Die Auflösung von Wortbedeutungen ist die Aufgabe, für ein Wort mit mehreren Lesarten die richtige zu wählen. „Der Golf ist stürmisch“ gegen „Golf spielen“ gegen „einen Golf fahren“: Die umstehenden Wörter entscheiden, welcher „Golf“ gemeint ist. Frühe NLP-Systeme arbeiteten mit von Hand gebauten Verzeichnissen von Wortbedeutungen und zählten, was gemeinsam auftritt. Moderne Systeme wie BERT erzeugen kontextabhängige Embeddings: Die Vektordarstellung von „Golf“ ändert sich buchstäblich mit den umgebenden Wörtern, sodass das Embedding in „Golf spielen“ zahlenmäßig ein anderes ist als in „einen Golf fahren“. Das Wort ist dasselbe, der Kontext macht die Darstellung verschieden.

Die Auflösung von Bezügen verfolgt, welche Ausdrücke in einem Text auf dieselbe Entität zeigen. „Sarah ging in den Laden. Sie kaufte Milch. Diese war frisch.“ Um diese Passage zu verstehen, muss ein NLP-System „Sie“ mit „Sarah“ verbinden und „Diese“ mit „Milch“, nicht mit dem Laden und nicht mit Sarah. Das verlangt Kontext über den Textverlauf: ein laufendes Modell davon, welche Entitäten genannt wurden und worauf sich Pronomen und Umschreibungen zurückbeziehen. Ohne diesen Kontext kann das System „Diese“ nicht auflösen, und der Text wird auf Absatzebene unverständlich.

Das Erkennen von Ironie und Stimmung hängt an Gesprächs- und Tonfallkontext, der im wörtlichen Text unsichtbar ist. „Super, noch eine Besprechung“ trägt eine negative Stimmung, obwohl das Wort „super“ darin steht. „Genau das habe ich gebraucht, einen platten Reifen um Mitternacht“ ist Ironie, bei der jedes einzelne Wort an der Oberfläche positiv klingt. NLP-Systeme, die sich allein auf lexikalische Signale stützen und positive gegen negative Wörter zählen, ordnen das falsch ein. Nur Modelle, die den weiteren Gesprächskontext und pragmatische Hinweise verarbeiten, erkennen die Umkehrung der wörtlichen Bedeutung.

Wie Transformer Kontext verarbeiten

Transformer-Architekturen, die Grundlage von BERT, GPT und jedem modernen großen Sprachmodell, sind um einen einzigen Mechanismus herum gebaut: Selbstaufmerksamkeit. Praktisch heißt das, dass jedes Wort in einem Satz auf jedes andere Wort „schaut“ und einen Relevanzwert berechnet.

Nehmen wir den Satz: „Das Tier überquerte die Straße nicht, weil es zu müde war.“ Das Wort „es“ könnte sich auf „Tier“ oder „Straße“ beziehen. Der Mechanismus der Selbstaufmerksamkeit vergibt ein hohes Gewicht zwischen „es“ und „Tier“ und zwischen „müde“ und „Tier“, weil Müdigkeit eine Eigenschaft von Tieren ist und nicht von Straßen. Das Modell nutzt diese Gewichte, um „es“ auf „Tier“ zurückzuführen, ganz ohne ausdrückliche Regel zur Auflösung von Pronomen. Der Kontext löst den Bezug über gelernte statistische Muster aus Milliarden von Beispielen.

BERT verarbeitet Kontext in beide Richtungen: Es sieht den ganzen Satz auf einmal und liest für jedes Wort den Kontext links und rechts. Das macht es stark bei Aufgaben, deren Antwort vom Verständnis einer vollständigen Passage abhängt, also Fragebeantwortung, Erkennung von Entitäten und Einordnung.

GPT verarbeitet Kontext autoregressiv, von links nach rechts, ein Token nach dem anderen, wobei jedes neue Token auf allen vorherigen beruht. Das macht es stark bei erzeugenden Aufgaben: Text schreiben, Code produzieren, Gespräche fortsetzen.

Beide Architekturen haben Grenzen des Kontextfensters. Ein Modell mit einem Fenster von 4.096 Token „vergisst“ Inhalte, die außerhalb liegen. Ein Fenster von 128K Token hilft, kann aber die gesamte Dokumentation eines Unternehmens immer noch nicht halten. Deshalb gibt es Retrieval-Augmented Generation (RAG): um gezielt den passenden Kontext ins Fenster zu laden, statt zu versuchen, alles auf einmal hineinzubekommen.

Kontext in der maschinellen Übersetzung

Beim Übersetzen wird der Bedarf an Kontext am sichtbarsten, weil verschiedene Sprachen Kontext unterschiedlich kodieren.

Die Auflösung von Pronomen zwischen Sprachen zwingt Übersetzende, Mehrdeutigkeit aufzulösen, die das Englische offenlässt. „The doctor told the nurse that she was late.“ Im Englischen kann sich „she“ auf die Ärztin oder auf die Pflegekraft beziehen, und „the doctor“ ist zudem geschlechtsneutral. Das Deutsche verlangt eine Entscheidung, Arzt oder Ärztin, und die richtige Wahl hängt davon ab, wer zu spät war, was wiederum vom Kontext abhängt. Ein neuronales Übersetzungssystem ohne ausreichenden Kontext entscheidet das zufällig oder nach statistischer Häufigkeit und liefert eine Übersetzung, die grammatisch richtig und in der Hälfte der Fälle sachlich falsch ist.

Redewendungen verlangen Kontext auf Ebene der Wortgruppe und der Kultur. „Kick the bucket“ muss in der Zielsprache mit deren Redewendung fürs Sterben wiedergegeben werden, also mit „ins Gras beißen“, und nicht mit einer wörtlichen Beschreibung davon, wie jemand mit dem Fuß gegen einen Eimer tritt. Ein Übersetzungssystem, das Wort für Wort arbeitet, ohne den Kontext der Wortgruppe, der eine Redewendung überhaupt erst erkennbar macht, produziert absurde wörtliche Übersetzungen. Nur Systeme, die mehrteilige Einheiten im Kontext erkennen, können zwischen den Redewendungsbeständen verschiedener Sprachen vermitteln.

Kontext im Enterprise-NLP

Enterprise-NLP steht vor einer Kontextaufgabe, die akademische NLP-Vergleichstests nicht abbilden: fachspezifische Begriffe mit unternehmenseigenen Definitionen.

„Nettoumsatz“ bedeutet in verschiedenen Unternehmen Verschiedenes. „Aktiver Kunde“ kann sogar innerhalb desselben Unternehmens zwischen Abteilungen schwanken. Das Marketing definiert einen aktiven Kunden vielleicht als jeden, der sich in den letzten 30 Tagen angemeldet hat. Der Finanzbereich definiert ihn vielleicht als jeden, der in den letzten 90 Tagen gekauft hat. Beide Definitionen sind gültig, sie dienen verschiedenen Zwecken.

Wenn ein NLP-System eine Anfrage wie „Zeig die Zahl aktiver Kunden nach Region“ verarbeitet, braucht es Zugriff auf die Definition von „aktiver Kunde“ im Business Glossary, nicht auf das allgemeine Verständnis der Trainingsdaten davon, was „aktiv“ und „Kunde“ je für sich bedeuten. Ohne diesen Kontext aus dem Unternehmen greift das System zu einer Definition nach statistischer Häufigkeit in seinem Trainingskorpus, die womöglich zu keiner der beiden Abteilungen passt.

Das ist die Lücke zwischen allgemeinem NLP und Enterprise-NLP. Allgemeines NLP löst Mehrdeutigkeit über sprachlichen Kontext auf: umgebende Wörter, Satzbau, Muster des Textverlaufs. Enterprise-NLP ergänzt einen Context Layer aus Metadaten: gesteuerte Definitionen, Zuordnungen im Semantic Layer und Einträge im Datenkatalog, die dem System sagen, was Begriffe in diesem Unternehmen bedeuten.

Offene Probleme und Forschungsfronten

Drei offene Probleme markieren die vorderste Linie beim Thema Kontext im NLP.

Kontext über große Distanzen. Gespräche über Hunderte von Zügen, Dokumente über Hunderte von Seiten und Codebestände über Tausende von Dateien sprengen die heutigen Mechanismen der Aufmerksamkeit. Selbstaufmerksamkeit skaliert quadratisch mit der Länge der Folge, was langen Kontext rechnerisch teuer macht. Forschung zu ausgedünnter Aufmerksamkeit, zu Modellen mit erweitertem Gedächtnis und zu hierarchischer Zusammenfassung will die Qualität des Kontexts über viel längere Spannen halten, doch produktive Systeme lassen merklich nach, sobald der Kontext die praktisch nutzbaren Fenstergrößen überschreitet.

Kontext über Sprachen hinweg. NLP-Systeme, die überwiegend auf Englisch trainiert wurden, übertragen sich nur unvollkommen auf Sprachen mit wenig Trainingsmaterial, in denen Kontexthinweise anders funktionieren. Das Japanische markiert das Thema statt über die Wortstellung. Das Arabische nutzt Wurzelmuster, die semantischen Kontext innerhalb einzelner Wörter tragen. Transferlernen hilft, doch Mechanismen zur Verarbeitung von Kontext, die auf englischen Satzbau und englische Textmuster hin optimiert sind, verlieren an Treffsicherheit bei Sprachen mit grundlegend anderer Struktur.

Kontext über Modalitäten hinweg. Zu verstehen, worauf sich „das“ in einem Gespräch bezieht, das ein Bild, ein Diagramm oder ein Video heranzieht, verlangt, visuellen und sprachlichen Kontext zusammenzuführen. „Was legt dieser Verlauf nahe?“, wobei „dieser“ auf ein Liniendiagramm zeigt, das der Nutzer gerade ansieht: Das ist ein Kontextproblem über Modalitäten hinweg. Heutige multimodale Modelle können Bilder und Text verarbeiten, doch Bezüge zwischen den Modalitäten zu erden, bleibt eine offene Forschungsfront.

Wie Dawiso Kontext für NLP liefert

Dawiso liefert den Context Layer im Unternehmen, den NLP-Systeme brauchen, um fachspezifische Sprache richtig zu behandeln. Das Business Glossary definiert Begriffe, sodass NLP-Systeme „aktiver Kunde“ in die richtige Datenbankabfrage übersetzen, also auf die richtige Tabelle zeigen, den richtigen Filter anwenden und die für das fragende Team richtige Definition verwenden.

Der Datenkatalog hält fest, welche Tabellen und Spalten die zu einem Begriff passenden Daten enthalten. Soll eine NLP-Oberfläche die Frage „Wie hoch ist unsere Kundenbindungsrate?“ beantworten, schlägt sie in Dawiso nach, welches Schema die Daten zur Kundenbindung hält, welche Rechenformel gilt und welche Zeiträume verfügbar sind.

Über das Model Context Protocol (MCP) holen sich KI-Agenten mit NLP Definitionen, Beziehungen und Lineage programmatisch. Der Ablauf hat drei Schritte: Der Nutzer stellt eine Frage in natürlicher Sprache, das System fragt beim Context Layer von Dawiso die passenden Definitionen und Datenorte ab, und dann erzeugt das NLP-System eine Antwort, die in diesen konkreten Tatsachen des Unternehmens geerdet ist und nicht in allgemeinen Mustern aus Trainingsdaten.

Fazit

Kontext ist für NLP keine wahlfreie Zutat, er ist der Mechanismus, der Sprachverstehen überhaupt möglich macht. Auf der lexikalischen Ebene löst Kontext die Wortbedeutung auf. Auf der syntaktischen macht er den Satzbau eindeutig. Auf der semantischen verbindet er Wörter mit Bezügen in der Welt. Auf der pragmatischen erschließt er aus Übereinkunft die Absicht. Jede Schicht des NLP hängt an Kontext, und jeder Fortschritt des Felds, von statischen Embeddings über BERT und GPT bis RAG, war ein Fortschritt darin, wie Modelle kontextuelle Information verarbeiten und nutzen. Im Unternehmen reicht der Bedarf an Kontext über die Sprachwissenschaft hinaus bis in die Metadaten: die gesteuerten Definitionen, Zuordnungen und die Lineage, die NLP-Systemen sagen, was Wörter in diesem Unternehmen bedeuten und nicht nur im Trainingskorpus.