Was ist eine Vektordatenbank?

Eine Vektordatenbank ist ein spezialisierter Datenspeicher, der hochdimensionale Zahlenvektoren, meist Embeddings genannt, indexiert, speichert und abfragt und Ähnlichkeitssuchen darüber in großem Maßstab ausführt. Wo eine relationale Datenbank die Frage „Finde Zeilen, in denen Spalte X gleich Y ist“ beantwortet, beantwortet eine Vektordatenbank die Frage „Finde die Objekte, die dieser Anfrage am ähnlichsten sind“, gemessen als Abstand in einem hochdimensionalen Raum.

Vektordatenbanken sind zu einem tragenden Bestandteil der KI-Infrastruktur im Unternehmen geworden, weil sie der Motor hinter Retrieval-Augmented Generation (RAG), semantischer Suche, Empfehlungssystemen und jeder KI-Anwendung sind, die „Dinge mit gleicher Bedeutung“ finden muss statt „Dinge, die genau übereinstimmen“. Ihre Verbreitung ist seit 2023 stark gewachsen, als Anwendungen auf LLM-Basis vom Prototyp in den Betrieb gingen.

Vektoren und Embeddings

Ein Embedding ist eine numerische Darstellung einer Information, also eines Satzes, eines Dokuments, eines Bildes oder eines Datensatzes, erzeugt von einem Modell des maschinellen Lernens. Das Modell bildet die Eingabe in einen hochdimensionalen Raum ab (typischerweise 768 bis 4.096 Dimensionen), und zwar so, dass Objekte mit ähnlicher Bedeutung in diesem Raum nahe beieinander liegen.

Ein Modell für Text-Embeddings wandelt etwa „Was ist Datenqualität?“ und „Wie wird Datenqualität gemessen?“ in Vektoren um, die geometrisch nahe beieinander liegen, obwohl sie kaum wörtliche Übereinstimmung haben. Ein Dokument zur DSGVO und ein Dokument zum EU-Datenschutzrecht bekommen ähnliche Embeddings. Ein Dokument über Basketball liegt von beiden weit entfernt.

Diese geometrische Struktur ist es, die semantische Suche ermöglicht: Finde die Vektoren (und die zugehörigen Dokumente), die dem Anfragevektor am nächsten liegen. Das Maß für Nähe ist typischerweise die Kosinusähnlichkeit (der Winkel zwischen Vektoren) oder der euklidische Abstand.

So arbeiten Vektordatenbanken

Den nächsten Vektor unter Millionen Dokumenten naiv zu suchen hieße, die Anfrage mit jedem gespeicherten Vektor zu vergleichen, und das ist für den Betrieb zu langsam. Vektordatenbanken lösen das mit Indexverfahren für den ungefähren nächsten Nachbarn (ANN), die einen kleinen Genauigkeitsverlust gegen eine um Größenordnungen höhere Suchgeschwindigkeit tauschen.

Die wichtigsten Indexverfahren

• HNSW (Hierarchical Navigable Small World), ein graphbasierter Index, der Suche mit hoher Genauigkeit und niedriger Latenz erlaubt. Die Standardwahl für die meisten Anwendungsfälle. Speicherhungrig, aber schnell.
• IVF (Inverted File Index), gruppiert Vektoren und durchsucht nur die passenden Gruppen. Besser für sehr große Bestände, bei denen der Speicherbedarf von HNSW untragbar wird.
• PQ (Product Quantization), komprimiert Vektoren, um Speicher zu sparen, zu einem gewissen Preis bei der Genauigkeit. Wird zusammen mit IVF für Indizes im Milliardenbereich eingesetzt.

Filtern nach Metadaten

Die Vektorsuche im Betrieb verbindet die Ähnlichkeitssuche fast immer mit einem Filter auf Metadaten: „Finde die Dokumente, die dieser Anfrage am ähnlichsten sind, aber nur aus dem Bereich Finanzen und nur veröffentlicht nach dem 01.01.2024.“ Vektordatenbanken filtern je nach System und Trennschärfe des Filters vor der Suche im ANN-Index oder danach.

Die wichtigsten Plattformen

Der Markt hat sich auf eine Handvoll Plattformen verdichtet: Pinecone (verwaltet, cloud-nativ), Weaviate (quelloffen, hybride Suche aus Vektor und BM25), Qdrant (quelloffen, in Rust geschrieben, starke Filter auf Nutzdaten), Milvus/Zilliz (verteilt, auf Unternehmen ausgelegt) und pgvector (Postgres-Erweiterung, die niedrigste Einstiegshürde). Die großen Cloud-Data-Warehouses (Snowflake, BigQuery, Databricks) haben inzwischen eigene Vektorsuche an Bord, was eine getrennte Vektordatenbank in manchen Architekturen überflüssig macht.

Anwendungsfälle

Vektordatenbanken tragen eine wachsende Zahl von Anwendungen im Unternehmen:

• Wissensbasen für RAG, der häufigste Anwendungsfall im Unternehmen. Dokumente (Regelungen, Berichte, Wikis) werden in Abschnitte zerlegt, eingebettet und in einer Vektordatenbank abgelegt. Zur Laufzeit werden die passendsten Abschnitte abgerufen, um dem LLM belegten Kontext zu geben.
• Semantische Suche, sie ersetzt die Stichwortsuche, die scheitert, sobald Nutzer die genaue Bezeichnung nicht kennen, durch eine Suche nach Bedeutung. „Zeig mir Datensätze zum Kundenverhalten“ findet Datensätze, die mit „Nutzerbindung“, „Kaufhistorie“ und „Sitzungsanalyse“ ausgezeichnet sind, nicht nur solche mit „Kunde“ im Namen.
• Dubletten erkennen, also nahezu doppelte Datensätze, Dokumente oder Einträge über Ähnlichkeit statt über genaue Übereinstimmung finden. Nützlich für die Bereinigung von Daten, für Compliance (nahezu doppelte Verträge finden) und für die Moderation von Inhalten.
• Empfehlungssysteme, sie finden Objekte, die dem ähneln, womit ein Nutzer sich schon befasst hat. Embeddings erfassen verborgene Merkmale, die eine Stichwortsuche verfehlt.

Im Vergleich zu anderen Datenbanken

Vektordatenbanken ergänzen die vorhandene Dateninfrastruktur, sie ersetzen sie nicht:

• Gegenüber relationalen Datenbanken. Relationale Datenbanken sind stark bei Abfragen auf genaue Übereinstimmung und bei transaktionalen Lasten. Vektordatenbanken sind stark bei der Ähnlichkeitssuche. Viele Anwendungen brauchen beides: Zeilen finden, die einem Filter entsprechen (relational), und sie dann nach semantischer Ähnlichkeit ordnen (Vektor).
• Gegenüber Dokumentspeichern. Dokumentspeicher (Elasticsearch, MongoDB) bieten Volltextsuche über Stichwörter. Vektordatenbanken liefern semantische Ähnlichkeit. Die hybride Suche, also die BM25-Stichwortbewertung verbunden mit der Vektorähnlichkeit, schlägt oft jede der beiden für sich.
• Gegenüber Graphdatenbanken. Knowledge Graphs kodieren ausdrückliche, typisierte Beziehungen. Vektordatenbanken kodieren implizite Ähnlichkeit in einem stetigen Raum. GraphRAG verbindet beides: der Graph für den strukturierten Abruf, der Vektorindex für den Abruf von Inhalten.

Hürden für die Governance

Vektordatenbanken bringen Governance-Fragen mit sich, vor denen die meisten Datenteams bisher nicht standen:

• Aktualität. Vektorindizes veralten, während Quelldokumente aktualisiert, ergänzt oder abgekündigt werden. Ein governance-bewusster Betrieb hält fest, wann jeder Abschnitt zuletzt indexiert wurde, und stößt eine neue Einbettung an, sobald sich der Inhalt der Quelle ändert.
• Zugriffskontrolle. Dokumente mit eingeschränktem Zugriff dürfen über die Vektordatenbank nicht für Unbefugte abrufbar sein. Sicherheit auf Zeilenebene muss zum Zeitpunkt des Abrufs durchgesetzt werden, in der Regel über Metadatenfilter auf der Vektorabfrage.
• Versionierung des Embedding-Modells. Wechselt das Embedding-Modell, sind alte und neue Vektoren unverträglich. Ein Modellwechsel verlangt, den gesamten Bestand neu einzubetten, und das ist ein erheblicher betrieblicher Vorgang, der Planung und einen Rückweg braucht.
• Lineage. Nachzuhalten, welche Quelldokumente in welchen Vektorindex eingeflossen sind und in welcher Fassung, ist das Gegenstück zur Data Lineage für die Vektordatenbank. Ohne das bleibt die Fehlersuche bei misslungenem Abruf Raterei.

In der KI im Unternehmen

Für den Einsatz von KI im Unternehmen ist die Vektordatenbank ein Baustein eines größeren Stacks für Context Engineering. Sie liefert den semantischen Abruf, also passende Dokumente und Passagen, aber KI im Unternehmen braucht auch strukturierte Fakten, gesteuerte Definitionen und ausdrückliche Beziehungen, die eine Vektorsuche allein nicht liefern kann.

Das Muster, das sich herausbildet, verbindet die Vektorsuche mit einer gesteuerten Datenschicht: Die Vektordatenbank findet semantisch passende Dokumente, und ein Knowledge Graph oder ein Datenkatalog liefert strukturierte, maßgebliche Fakten zu den Objekten, auf die diese Dokumente verweisen. Zusammen geben sie dem LLM beides: reichen Kontext aus der Vektordatenbank und eine verlässliche Grundwahrheit aus der gesteuerten Metadatenschicht.

Fazit

Vektordatenbanken sind von der Forschungsinfrastruktur zum festen Bestandteil des Datenstacks im Unternehmen geworden. Sie ermöglichen semantische Suche und semantischen Abruf in großem Maßstab, also Fähigkeiten, auf denen moderne KI-Anwendungen aufsetzen. Wie jeder Datenbestand brauchen sie aber Governance: Herkunft nachhalten, Aktualität führen, Zugriffskontrolle durchsetzen, Qualität überwachen. Organisationen, die Vektorindizes als gesteuerte Datenbestände behandeln statt als undurchsichtige KI-Infrastruktur, bauen KI-Systeme, die verlässlich und vertrauenswürdig bleiben, während ihre Daten sich weiterentwickeln.