Was ist LLMOps?

LLMOps (Large Language Model Operations) ist die Gesamtheit der Praktiken, Werkzeuge und Abläufe, mit denen große Sprachmodelle in Produktion bereitgestellt, überwacht, ausgewertet und gepflegt werden. Es überträgt die Prinzipien von MLOps auf die betrieblichen Herausforderungen, die LLM eigens mitbringen: nicht deterministische Ausgaben, die Versionierung von Prompts, die Führung von Abrufpipelines, die Optimierung der Token-Kosten und die Überwachung von Halluzinationen im großen Maßstab.

Auf dem Weg vom LLM-Prototyp zu produktiven KI-Systemen stoßen Unternehmen auf ein Muster, das Sculley et al. (2015) für Systeme des maschinellen Lernens beschrieben haben: Der Modellcode ist nur ein kleiner Teil des Gesamtsystems. Die Infrastruktur ringsum, also Prompt-Management, Auswertungs-Harnesse, Dashboards zur Überwachung, Abrufpipelines und Kostenkontrollen, bindet einen großen Teil des Aufwands. LLMOps ist die Disziplin, die diese Infrastruktur verlässlich, beobachtbar und wartbar macht.

LLMOps und MLOps im Vergleich

Klassisches MLOps deckt den Lebenszyklus klassischer und tiefer Lernmodelle ab: Datenaufbereitung, Feature Engineering, Training, Validierung, Bereitstellung und Überwachung der Drift. LLMOps erbt das alles und legt eine Ebene an Komplexität darauf, die generativen Modellen eigen ist:

• Prompts als Code. Im klassischen ML ist das Modell das auslieferbare Artefakt. In LLMOps sind Prompts ebenfalls auslieferbare Artefakte, die Versionierung, Tests und die Möglichkeit zum Zurückrollen brauchen.
• Nicht deterministische Auswertung. Die Güte eines klassischen Modells misst man an präzisen Kennzahlen (Precision, Recall, F1). Die Qualität einer LLM-Ausgabe ist oft unscharf: „Ist das eine gute Zusammenfassung?“ verlangt Auswertungsrahmen, die über numerische Schwellen hinausgehen.
• Kein Nachtrainieren als Normalfall. Klassische ML-Pipelines trainieren Modelle häufig auf neuen Daten nach. LLM-Installationen halten typischerweise eine festgelegte Version des Basismodells, bis sie selbst wechseln oder der Anbieter sie abschaltet (Anthropic etwa kündigt die Abschaltung eines öffentlich freigegebenen Modells mindestens 60 Tage vorher an), und passen das Verhalten über Prompt Engineering, RAG und Fine-Tuning an, statt vollständig nachzutrainieren.
• Token-Ökonomie. Die Kosten der LLM-Inferenz werden in Token gemessen, Eingabe plus Ausgabe. Die Steuerung dieser Kosten, also die Nutzung des Kontextfensters zu optimieren, zu cachen und Anfragen an Modelle zu verteilen, hat im klassischen ML keine direkte Entsprechung.

Zentrale Fähigkeiten von LLMOps

Eine ausgereifte LLMOps-Plattform bietet mehrere Fähigkeiten, auf die produktive LLM-Anwendungen angewiesen sind:

Prompt-Register

Ein Prompt-Register ist der versionierte Speicher für alle produktiven Prompts. Jede Prompt-Vorlage, ob System-Prompt, Abrufanweisung oder Vorgabe für das Ausgabeformat, wird mit ihrem Versionsverlauf abgelegt, dazu die zugehörigen Metadaten (auf welches Modell sie zielt, welchen Anwendungsfall sie bedient, wem sie gehört) und die Testergebnisse. Wie ein Code-Repository für Software ist das Prompt-Register die maßgebliche Quelle dafür, was das KI-System sagt und wie es sich verhält. Werkzeuge wie die MLflow Prompt Registry und das Prompt-Management von Langfuse setzen dieses Muster mit versionierten Prompts und Aliasen beziehungsweise Labels für die Bereitstellung um.

LLM-Gateway

Eine Gateway-Ebene sitzt zwischen den Anwendungen und den API der LLM-Anbieter. Sie übernimmt das Verteilen von Anfragen an verschiedene Modelle je nach Aufgabenart oder Kosten, die Begrenzung der Rate, die Authentifizierung, die Protokollierung der Anfragen und die Ausweichlogik. Im Gateway findet auch das Filtern von Ein- und Ausgaben statt: sensible Daten schwärzen, bevor sie das Netz verlassen, und Ausgaben kennzeichnen, die gegen Richtlinien verstoßen.

Führung der Abrufpipeline

Für Anwendungen auf Basis von RAG ist die Abrufpipeline ein betrieblicher Gegenstand erster Ordnung. Chunk-Größen, Versionen des Embedding-Modells, Aktualisierungen des Vektorindex und Kennzahlen zur Relevanz des Abrufs zu führen, verlangt dieselbe Beobachtbarkeit wie ein ETL-Prozess in einem Data Warehouse. Wenn die Qualität des Abrufs nachlässt, etwa durch veraltete Embeddings, einen beschädigten Index oder driftende Relevanz, verschlechtern sich die Ausgaben des LLM entsprechend, oft ohne ein deutliches Fehlersignal.

Prompt-Management und Versionierung

Prompts in produktiven Systemen sind keine festen Zeichenketten, sie entwickeln sich. Eine Änderung am System-Prompt kann das Verhalten des Modells erheblich verschieben, zum Guten wie zum Schlechten. Ohne Versionierung sind Änderungen weder dokumentiert noch prüfbar. Ohne Tests können sie das produktive Verhalten verschlechtern, bevor es jemandem auffällt.

Ausgereiftes Prompt-Management sieht aus wie das Release-Management von Software: Änderungen durchlaufen eine Entwicklungsumgebung, bestehen eine Testreihe gegen einen repräsentativen Auswertungsdatensatz und werden mit der Möglichkeit zum Zurückrollen bereitgestellt. Das Prompt-Register speichert die Historie jeder Änderung und verknüpft jede Version mit ihren Auswertungsergebnissen, ihrem Datum der Bereitstellung und dem verantwortlichen Team.

Auswertung und Überwachung

Die Qualität einer LLM-Ausgabe auszuwerten ist ehrlich schwer. Anders als bei Klassifikationsmodellen, wo „richtig“ eine eindeutige Antwort hat, hängt die Qualität einer LLM-Ausgabe vom Kontext ab und ist oft subjektiv. Drei Ansätze haben sich in der Praxis herausgebildet:

1. LLM-as-judge. Ein zweites LLM wertet die Ausgabe des ersten gegen festgelegte Kriterien aus, etwa Treue zum Kontext, Relevanz, Vollständigkeit und Sicherheit. Das skaliert besser als eine Auswertung durch Menschen, erbt aber die Verzerrungen des auswertenden Modells: Zheng et al. (2023) fanden, dass starke Bewerter wie GPT-4 in über 80 % der Fälle mit menschlichen Präferenzen übereinstimmten, etwa so oft wie Menschen untereinander, und belegten Verzerrungen durch Position, Länge und Selbstbevorzugung.
2. Auswertung gegen Referenzen. Ausgaben werden mit einem kuratierten Satz von Musterantworten für eine Reihe von Vergleichseingaben verglichen. Das verlangt Aufwand für Aufbau und Pflege des Referenzdatensatzes, liefert aber objektive Regressionstests.
3. Überwachung produktiver Signale. Rückmeldungen der Nutzer werden als mittelbare Qualitätssignale verfolgt, also Daumen hoch und runter, Korrekturen und Nachfragen, die nahelegen, dass die vorherige Antwort falsch war. Das verlangt sorgfältige Deutung, denn Unzufriedenheit eines Nutzers ist nicht immer ein Fehler des Modells.

Plattformen für Tracing und Auswertung wie LangSmith und Arize Phoenix unterstützen sowohl die Auswertung gegen kuratierte Datensätze vor der Bereitstellung als auch die Bewertung produktiver Traces, einschließlich LLM-as-judge-Bewertern.

Kosten und Latenz steuern

LLM-Inferenz im großen Maßstab ist teuer. Eine Anwendung auf Basis von RAG, die bei jeder von 10.000 Abfragen am Tag 4.000 Token Kontext mitschickt, verbraucht täglich 40 Millionen Eingabe-Token, bevor ein einziges Ausgabe-Token gezählt ist. Die Token-Ökonomie verlangt aktive Steuerung:

• Prompt-Caching. Anbieter wie Anthropic und OpenAI bieten Caching für einen wiederkehrenden Prompt-Anfang an, etwa System-Prompts, Werkzeugdefinitionen und feste Dokumentabschnitte. Anthropic berechnet Cache-Lesezugriffe mit höchstens einem Zehntel des normalen Eingabepreises und erhebt einen Aufschlag auf Cache-Schreibvorgänge; OpenAI cacht geeignete Prompts automatisch und berechnet wiederverwendete Eingabe-Token zu einem ermäßigten Satz. Die Ersparnis gilt nur für den gecachten Anfang, die tatsächliche Senkung hängt also davon ab, wie viel sich von jedem Prompt wiederholt.
• Verteilung auf Modelle. Einfachere Abfragen gehen an kleinere, günstigere Modelle, komplexe an Spitzenmodelle. In der RouteLLM-Studie senkten Ong et al. (2024) die Kosten in einigen Fällen auf weniger als die Hälfte, ohne dass die Qualität der Antworten litt.
• Optimierung des Kontextfensters. Rufen Sie nur ab, was die Abfrage braucht. Die gesamte Wissensbasis in jeden Prompt zu kippen ist teuer und oft kontraproduktiv, weil belangloser Kontext das Modell ablenken und die Genauigkeit senken kann. Zielgerichteter Abruf senkt den Token-Verbrauch und verbessert die Qualität der Antwort.

LLMOps und Data Governance

LLMOps und Data Governance überschneiden sich erheblich. Die Dateninfrastruktur, die verlässliches RAG trägt, ist eine Infrastruktur der Governance: Wem gehören die aufgenommenen Inhalte, wann wurden sie zuletzt aufgefrischt, welche Datenqualität tragen sie, welche Zugriffsregeln gelten?

Unternehmen mit ausgereifter Data Governance, also gepflegten Datenkatalogen, versionierten Business Glossaries und verfolgter Lineage, haben in LLMOps einen strukturellen Vorteil. Ihre Abrufschichten stehen auf maßgeblichen, gepflegten Quellen. Wenn ein KI-System eine falsche Antwort gibt, lässt sie sich über den Lineage-Graphen bis zur Quelle zurückverfolgen. Wenn sich eine Definition ändert, lässt sich der aktualisierte Glossareintrag neu indexieren, und das Modell antwortet mit aktuellen Informationen.

Fazit

LLMOps ist die betriebliche Disziplin, die KI-Prototypen im Unternehmen von verlässlichen produktiven Systemen trennt. Die Werkzeuge reifen schnell, doch die grundlegenden Disziplinen, also Versionierung, Tests, Überwachung und Kostenkontrolle, sind dieselben, die Software Engineering und Data Engineering seit Jahrzehnten pflegen. Organisationen, die KI im Unternehmen aufbauen, tun gut daran, LLMOps mit derselben Sorgfalt zu behandeln wie ihre Datenpipelines: in Beobachtbarkeit zu investieren, eine Infrastruktur für die Auswertung aufzubauen und Datenqualität als Voraussetzung für Modellqualität zu behandeln.

Quellen

• Sculley et al., Hidden Technical Debt in Machine Learning Systems (NIPS 2015, Abbildung 1).
• Anthropic, Model deprecations (Claude-Dokumentation, abgerufen im Oktober 2026).
• MLflow, Prompt Registry.
• Langfuse, Prompt Management.
• Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023 Datasets and Benchmarks Track).
• LangChain, LangSmith evaluation concepts.
• Arize, Phoenix documentation.
• Anthropic, Prompt caching (Claude-Dokumentation, abgerufen im Oktober 2026).
• OpenAI, Prompt caching (API-Dokumentation, abgerufen im Oktober 2026).
• Ong et al., RouteLLM: Learning to Route LLMs with Preference Data (2024).
• Shi et al., Large Language Models Can Be Easily Distracted by Irrelevant Context (ICML 2023).