Halluzination
Stand:
Als Halluzination bezeichnet man Ausgaben eines LLMs, die plausibel formuliert, aber sachlich falsch oder frei erfunden sind — etwa erfundene Literaturquellen, falsche Zahlen oder nicht existierende API-Funktionen. Der Begriff hat sich etabliert, obwohl er technisch schief ist: Das Modell „irrt“ sich nicht, sondern tut genau das, wofür es trainiert wurde.
Die Ursache liegt im Funktionsprinzip: Sprachmodelle erzeugen Text, indem sie wahrscheinliche Token-Folgen vorhersagen — nicht, indem sie Fakten in einer Datenbank nachschlagen. Decken die Trainingsdaten eine Frage nicht ab oder ist die wahrscheinlichste Fortsetzung schlicht falsch, entsteht flüssiger, überzeugend klingender Text ohne faktische Grundlage. Die sprachliche Sicherheit einer Antwort ist deshalb kein Indikator für ihre Korrektheit.
In der Praxis sind Halluzinationen das wichtigste Risiko beim produktiven Einsatz generativer KI, besonders in sensiblen Bereichen wie Recht, Medizin oder Finanzen. Bewährte Gegenmaßnahmen: geprüfte Quellen per RAG anbinden, nachprüfbare Belege verlangen, Ausgaben automatisiert validieren und kritische Ergebnisse von Menschen prüfen lassen. Ein verbreitetes Missverständnis ist, dass sich Halluzinationen vollständig abstellen ließen — nach heutigem Stand sind sie eine inhärente Eigenschaft der Technologie. Prozesse sollten deshalb so gestaltet sein, dass sie mit fehlerhaften Ausgaben rechnen.