Large Language Model (LLM)
Stand:
Ein Large Language Model (LLM) ist ein neuronales Netz, das auf sehr großen Textmengen darauf trainiert wurde, das jeweils wahrscheinlichste nächste Token vorherzusagen. Aus diesem einfachen Trainingsziel entstehen Fähigkeiten wie Textverständnis, Übersetzung, Zusammenfassung und Codegenerierung — LLMs sind damit die technische Grundlage praktisch aller aktuellen generativen KI-Anwendungen, von Chatbots bis zu KI-Agenten.
Technisch basieren heutige LLMs auf der Transformer-Architektur, deren Attention-Mechanismus Beziehungen zwischen allen Tokens einer Eingabe modelliert. Text wird in Tokens zerlegt und intern als Embeddings verarbeitet; die maximale Eingabelänge bestimmt das Kontextfenster. Auf das Pretraining mit Rohtext folgt meist eine Anpassungsphase (Fine-Tuning, etwa mit Instruktionsdaten und menschlichem Feedback), damit das Modell Anweisungen befolgt und unerwünschte Ausgaben vermeidet.
In der Praxis ist vor allem eines wichtig: Ein LLM ist keine Datenbank. Es speichert Wissen implizit in seinen Parametern, hat einen Trainingsstichtag und kann plausibel klingende, aber falsche Aussagen erzeugen (Halluzination). Für aktuelle oder unternehmensspezifische Informationen wird es deshalb häufig mit externem Wissen kombiniert, etwa per RAG. Ein verbreitetes Missverständnis ist zudem, dass mehr Parameter automatisch bessere Ergebnisse bedeuten — Datenqualität, Training und Einsatzkontext sind mindestens ebenso entscheidend.