Embedding
Stand:
Ein Embedding ist eine numerische Vektordarstellung von Inhalten — etwa Text, Bildern oder Code —, bei der semantische Ähnlichkeit als geometrische Nähe abgebildet wird. Zwei inhaltlich verwandte Sätze liegen im Vektorraum nah beieinander, selbst wenn sie kein gemeinsames Wort enthalten. Das macht Embeddings zur Grundlage semantischer Suche.
Erzeugt werden Embeddings von darauf trainierten neuronalen Netzen, die Eingaben auf Vektoren fester Länge abbilden, typischerweise einige hundert bis einige tausend Dimensionen. Die Ähnlichkeit zweier Vektoren wird dann etwa über die Kosinus-Ähnlichkeit berechnet. Auch LLMs arbeiten intern mit Embeddings, um Tokens zu repräsentieren; für Suchanwendungen kommen jedoch eigenständige Embedding-Modelle zum Einsatz, deren Vektoren in Vektordatenbanken gespeichert werden.
In der Praxis sind Embeddings der Kernbaustein von RAG-Systemen, semantischer Suche, Empfehlungssystemen, Duplikaterkennung und Clustering. Zwei Missverständnisse sind verbreitet: Erstens „verstehen“ Embeddings nichts — sie kodieren statistische Ähnlichkeitsmuster aus den Trainingsdaten, weshalb etwa Negationen schlecht unterschieden werden und Ähnlichkeit keine faktische Übereinstimmung bedeutet. Zweitens sind Embeddings verschiedener Modelle nicht kompatibel: Ein Modellwechsel bedeutet, den gesamten Bestand neu zu indexieren.