Was ist ein großes Sprachmodell (LLM)?

Ein großes Sprachmodell (LLM) ist eine Form künstlicher Intelligenz auf Basis eines neuronalen Netzes mit Transformer-Architektur, trainiert auf Hunderten von Milliarden bis zu Billionen Tokens an Text, um statistische Muster in Sprache zu lernen. GPT-3 von OpenAI wurde 2020 auf 300 Milliarden Tokens trainiert; Meta hat Llama 3 im Jahr 2024 auf mehr als 15 Billionen vortrainiert. Das Ergebnis ist ein Modell, das zusammenhängenden Text erzeugen, Fragen beantworten, Dokumente zusammenfassen, Code schreiben und mehrstufige Gespräche führen kann, ohne für eine dieser Aufgaben ausdrücklich programmiert worden zu sein.

LLMs sind die Grundlage von Modellfamilien wie GPT von OpenAI, Claude von Anthropic, Gemini von Google und Llama von Meta. Sie sind binnen weniger Jahre von der Forschungskuriosität zur Infrastruktur im Unternehmen geworden und treiben heute Servicebots ebenso an wie interne Wissensassistenten und die automatische Dokumentation von Datenpipelines. Zu verstehen, was sie sind und was sie nicht sind, ist inzwischen Voraussetzung für jeden, der KI im Unternehmen baut oder steuert.

So arbeiten LLMs

LLMs bauen auf der Transformer-Architektur auf, die ein Team überwiegend aus Google-Forschern 2017 im Paper Attention Is All You Need vorgestellt hat. Im Kern arbeiten sie, indem sie vorhersagen, was als Nächstes kommt. Aus einer Folge von Tokens (Wörter, Wortteile oder Zeichen) lernt das Modell, die wahrscheinlichste Fortsetzung vorherzusagen. Über genug Text und mit genug Rechenleistung trainiert, ergibt dieses schlichte Ziel ein Modell, das bemerkenswert gut verallgemeinert.

Tokens, Attention und Kontextfenster

Text wird in Tokens zerlegt. Für englischen Text gilt als Faustregel von OpenAI etwa 0,75 Wörter je Token (100 Tokens für rund 75 Wörter); das genaue Verhältnis hängt vom Tokenizer und von der Sprache ab. Das Modell verarbeitet Tokens durch Schichten von Self-Attention, die jedes Token mit jedem anderen Token der aktuellen Eingabe in Beziehung setzen. Dieser Attention-Mechanismus ist es, der LLMs weitreichende Bezüge verfolgen lässt: das Subjekt eines Satzes von vor 400 Tokens, einen Verweis von vor drei Absätzen. Frühere Modelle wie LSTMs taten sich damit schwer.

Die Gesamtzahl der Tokens, die das Modell auf einmal verarbeiten kann, ist das Kontextfenster. GPT-3 (2020) hatte 2.048 Tokens. Stand 2026 bieten mehrere Modelle von Anthropic und Google Fenster von 1 Million Tokens, und Meta hat für Llama 4 Scout 10 Millionen angekündigt. Größer ist nicht automatisch besser: Die Dokumentation von Anthropic weist darauf hin, dass Genauigkeit und Abrufleistung mit wachsender Tokenzahl nachlassen. Ein größeres Kontextfenster heißt, dass das Modell mehr von einem Gespräch, einem Dokument oder einer Codebasis im Arbeitsspeicher hält, und das wirkt sich unmittelbar auf die Qualität von RAG-Anwendungen im Unternehmen aus.

Vortraining und Fine-Tuning

Die Entwicklung eines LLM hat zwei Hauptphasen. Das Vortraining ist teuer und wird von den Laboren für Foundation Models geleistet (OpenAI, Anthropic, Google, Meta): Training auf Text in Internetgröße, Ergebnis ist ein Allzweckmodell. Fine-Tuning ist günstiger und wird oft von Unternehmen geleistet: Ein vortrainiertes Modell wird mit einem kleineren, kuratierten Datensatz an ein Fachgebiet, eine Aufgabe oder ein Verhalten angepasst. Fine-Tuning kann dem Modell die Begriffe, den Ton oder das Spezialwissen eines Unternehmens beibringen, ohne es von Grund auf neu zu trainieren.

Trainingsdaten und Größe

Das „groß“ in großem Sprachmodell meint zwei Dinge: die Zahl der Parameter (Gewichte) im neuronalen Netz und die Menge der Trainingsdaten. GPT-3 hatte 175 Milliarden Parameter. Die meisten Labore für Spitzenmodelle veröffentlichen keine Parameterzahlen mehr; im April 2025 beschrieb Meta Llama 4 Behemoth, damals noch im Training, mit knapp zwei Billionen Parametern insgesamt. Forschende haben emergente Fähigkeiten beschrieben, also Fähigkeiten, die kleineren Modellen fehlen und bei größeren auftreten (Wei et al., 2022). Spätere Arbeiten argumentierten allerdings, dass manche dieser Sprünge ein Artefakt der Leistungsmessung sind (Schaeffer et al., 2023).

Die Datenqualität im Training zählt mindestens so viel wie die Menge. Modelle, die auf schlecht kuratierten Daten trainiert wurden, lernen deren Fehler nachzubilden: Verzerrungen, sachliche Irrtümer, Widersprüche. Das Prinzip „garbage in, garbage out“ wirkt mit vervielfachter Kraft, wenn ein Modell seine Trainingsverteilung auswendig gelernt hat und sie selbstbewusst wiedergibt.

Das Problem der Datenherkunft

Für KI-Teams im Unternehmen wird die Herkunft der Trainingsdaten zunehmend zu einer rechtlichen und einer Governance-Frage. Fragen, die inzwischen bei Datenteams landen: Auf welchen Daten wurde dieses Modell trainiert? Dürfen wir seine Ausgaben kommerziell nutzen? Verstehen wir, welche Verzerrungen es aufgenommen haben könnte? Das sind Fragen der Data Governance, und dieselbe Disziplin, die die Datenbestände eines Unternehmens steuert, muss sich nun auf die KI-Systeme erstrecken, die Daten verbrauchen und erzeugen. Die Regulierung weist in dieselbe Richtung: Der EU AI Act verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, eine hinreichend detaillierte Zusammenfassung der für das Training verwendeten Inhalte zu veröffentlichen (Art. 53 Abs. 1 Buchst. d KI-VO), eine Pflicht, die seit dem 2. August 2025 gilt.

Stärken und Grenzen

LLMs sind bei einer Gruppe von Aufgaben wirklich gut: Informationen aus vielen Quellen zusammenführen, zusammenhängende längere Texte erzeugen, übersetzen, zusammenfassen, Fragen mit Kontext beantworten, Code schreiben und erklären sowie strukturierte Daten umformatieren. Diese Fähigkeiten übertragen sich über Fachgebiete hinweg: Ein auf allgemeinem Text trainiertes Modell kann medizinische Literatur, Rechtsverträge und Finanzberichte behandeln, ohne für jedes davon eigens trainiert worden zu sein.

Harte Grenzen, die auch mehr Größe nicht behebt

Drei Grenzen sind struktureller Natur, sie verschwinden nicht dadurch, dass Modelle größer werden:

• Wissensstichtag. LLMs werden auf einer festen Momentaufnahme von Text trainiert. Sie wissen nicht, was gestern geschehen ist, aktualisieren sich nicht laufend und beantworten Fragen zu Ereignissen nach ihrem Stichtag selbstbewusst, als hätten sie die Daten gesehen. Deshalb verbinden Unternehmen LLMs häufig mit Abrufsystemen.
• Halluzination. LLMs erzeugen plausibel klingenden Text, indem sie wahrscheinliche Tokens vorhersagen. Werden sie zu etwas außerhalb ihrer Trainingsverteilung befragt, sagen sie oft nicht „Das weiß ich nicht“, sondern erzeugen eine selbstbewusst klingende Antwort, die vollständig erfunden sein kann. Der eigene Eintrag zu KI-Halluzination behandelt das ausführlich.
• Von Haus aus kein privates Wissen. Ein Foundation-LLM weiß nichts über die Daten Ihres Unternehmens, Ihre internen Systeme, Ihre Kunden oder Ihre Prozesse, es sei denn, Sie geben diesen Kontext im Prompt mit oder über einen Abrufmechanismus. Dafür gibt es RAG und Fine-Tuning, und deshalb ist die Qualität des mitgegebenen Kontexts oft der begrenzende Faktor für die Qualität von KI im Unternehmen.

LLMs im Unternehmen

Der Einsatz von LLMs im Unternehmen folgt in der Regel einer von drei Architekturen:

1. API-Zugang zu Foundation Models, also die Anbindung an OpenAI, Anthropic oder Google über eine Schnittstelle. Schnell einsatzbereit, kein Trainingsaufwand, aber alle Prompts gehen an fremde Infrastruktur. Fragen zu Datenstandort und Datenschutz gelten hier.
2. Selbst betriebene offene Modelle, also Modelle mit offenen Gewichten wie Llama von Meta oder die Modelle von Mistral, betrieben auf eigener Infrastruktur. Die Daten bleiben im Haus, es braucht aber ML-Kapazität für Betrieb, Optimierung der Inferenz und Aktualisierungen.
3. Nachtrainierte Fachmodelle, also ein Basismodell, angepasst an die Begriffe, den Ton und das Fachwissen eines Unternehmens. Oft die stärksten Ergebnisse bei eng umrissenen, speziellen Aufgaben, bei den höchsten Anfangskosten.

Die meisten Anwendungsfälle im Unternehmen haben in allen drei Architekturen einen weiteren gemeinsamen Bedarf: Retrieval-Augmented Generation, um das Modell in aktuellem, privatem, unternehmenseigenem Wissen zu verankern. Ein LLM ohne eine Schicht für den Informationsabruf ist ein Allzweck-Textgenerator. Mit einer gut gesteuerten Abrufschicht wird es zu einem Erkenntnissystem für das Unternehmen.

Data Governance für LLMs

LLMs stellen Anforderungen an die Data Governance, die die meisten bestehenden Rahmenwerke nicht abdecken. Drei Bereiche sind am wichtigsten:

Governance der Eingaben: welchen Kontext Sie dem Modell geben

Jeder Prompt trägt Daten. Nutzen Beschäftigte ein LLM, um Fragen zu Kunden, Patientenakten oder Finanzprognosen zu beantworten, können die sensiblen Daten in diesen Prompts das Unternehmensnetz verlassen. Die Governance der Eingaben, also festzulegen, welche Daten unter welchen Bedingungen an welche Modelle gehen dürfen, ist eine neue betriebliche Anforderung an Datenteams.

Governance der Ausgaben: erzeugte Inhalte überprüfen

Den Ausgaben eines LLM lässt sich nicht ungeprüft trauen. Sie brauchen Überprüfung: Deckt sich diese Antwort mit unseren Metadaten? Stimmt diese Zusammenfassung? Hat das Modell echte Quellen genannt? Organisationen, die in einen Datenkatalog und einen Knowledge Graph investiert haben, können das LLM auf gesteuerte, maßgebliche Quellen richten und machen die Überprüfung damit handhabbar. Ohne diese Grundlage ist jede Ausgabe eine Faktenprüfung von Hand.

Governance der Modelle: Version, Drift und Rechenschaft

Wie Software haben Modelle Versionen. Wie Daten können sie driften. Ein Modell, das im März gut lief, kann sich im Juni anders verhalten, weil dieselbe Eingabe nach einer Aktualisierung des Anbieters eine andere Ausgabe ergibt. Forschende haben genau das belegt, als sie die Versionen von GPT-4 und GPT-3.5 aus März und Juni 2023 verglichen und bei denselben Aufgaben deutliche Verhaltensänderungen fanden (Chen, Zaharia und Zou, 2023). Governance der Modelle verfolgt, welche Version im Einsatz ist, überwacht die Leistung auf Drift und führt einen Audit-Trail darüber, wofür das Modell genutzt wurde. Das ist das Feld von LLMOps.

Wie Dawiso LLM-Abläufe stützt

Dawiso trainiert und betreibt keine Sprachmodelle. Seine Rolle im LLM-Stack des Unternehmens ist die des gesteuerten Context Layer, auf den LLM-basierte Assistenten und Agenten zugreifen können. Fragt ein Nutzer einen KI-Assistenten „Was bedeutet Abwanderungsrate bei uns?“ oder „Welche Datensätze speisen den monatlichen Umsatzbericht?“, sollte die Antwort aus einer Dokumentation kommen, die das Unternehmen pflegt und steuert, und nicht aus den allgemeinen Trainingsdaten eines LLM.

Das Business Glossary enthält die abgestimmten Definitionen der Fachbegriffe, und Dawiso verknüpft Glossarbegriffe automatisch dort, wo sie im Inhalt von Objekten erwähnt werden. Der Data Catalog liefert das Verzeichnis der Datenbestände mit den ihnen zugewiesenen Data Ownern und Data Stewards. Der Dawiso MCP Server stellt diese Dokumentation über das Model Context Protocol jedem MCP-kompatiblen Agenten bereit: Agenten können Objekte suchen, Objektdetails lesen, die Lineage verfolgen und Datenstichproben ansehen, und Schreibwerkzeuge erhalten nur Benutzerrollen, die das erlauben. Dawiso MCP steht derzeit Cloud-Kunden zur Verfügung.

Das Ergebnis: Antworten eines LLM zu Fachbegriffen und Datenbeständen, die sich auf die zugrunde liegenden Katalogobjekte stützen und an ihnen überprüfen lassen.

Fazit

Große Sprachmodelle sind eine wirklich verändernde Technik, aber ihr Wert im Unternehmen hängt stark von der Infrastruktur um sie herum ab. Ein LLM ohne verlässlichen Kontext ist ein selbstbewusster Textgenerator mit Hang zur Halluzination. Ein LLM, das an einen gesteuerten Knowledge Graph, ein gepflegtes Business Glossary und gut katalogisierte Datenbestände angebunden ist, ist die Grundlage von Erkenntnis im Unternehmen. Das Modell liefert die Sprachfähigkeit, die Data Governance liefert die Verlässlichkeit.

Quellen

• Vaswani et al., Attention Is All You Need, arXiv, Juni 2017.
• Brown et al., Language Models are Few-Shot Learners, arXiv, Mai 2020 (GPT-3: 175 Milliarden Parameter, 300 Milliarden Trainings-Tokens, Kontextfenster von 2.048 Tokens).
• Meta, Introducing Meta Llama 3: The most capable openly available LLM to date, 18. April 2024 (vortrainiert auf über 15 Billionen Tokens).
• Meta, The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation, 5. April 2025 (Kontextfenster von Llama 4 Scout: 10 Mio.; Llama 4 Behemoth: knapp zwei Billionen Parameter insgesamt).
• OpenAI Help Center, What are tokens and how to count them? (Faustregeln für Englisch).
• Anthropic, Context windows, Claude-Dokumentation (Fenster von 1 Mio. Tokens; Context Rot).
• Google, Long context, Dokumentation der Gemini API.
• Wei et al., Emergent Abilities of Large Language Models, arXiv, Juni 2022.
• Schaeffer, Miranda und Koyejo, Are Emergent Abilities of Large Language Models a Mirage?, arXiv, April 2023.
• Chen, Zaharia und Zou, How is ChatGPT's behavior changing over time?, arXiv, Juli 2023.
• Regulation (EU) 2024/1689 (AI Act), Art. 53 Abs. 1 Buchst. d und Art. 113 KI-VO, EUR-Lex.
• Dawiso Help, Dawiso Model Context Protocol (MCP).
• Dawiso Help, Business glossary.
• Dawiso Help, Role of ownership in data governance.