Retrieval-Augmented Generation (RAG)
Stand:
Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein LLM vor der Antwortgenerierung relevante Dokumente aus einer externen Wissensquelle erhält. So kann das Modell Fragen zu Inhalten beantworten, die nicht in seinen Trainingsdaten stehen — etwa zu interner Dokumentation, aktuellen Ereignissen oder schnell veränderlichen Datenbeständen.
Technisch werden Dokumente zunächst in Abschnitte (Chunks) zerlegt und als Embeddings in einer Vektordatenbank abgelegt. Bei einer Anfrage wird auch diese in ein Embedding umgewandelt, die semantisch ähnlichsten Abschnitte werden gesucht — oft kombiniert mit klassischer Volltextsuche („Hybrid Search“) und einem nachgelagerten Reranking — und die Treffer werden zusammen mit der Frage in das Kontextfenster des Modells gegeben, das daraus die Antwort formuliert.
In der Praxis ist RAG der Standardweg, Unternehmenswissen an Sprachmodelle anzubinden: Die Wissensbasis lässt sich ohne neues Training aktualisieren, was günstiger und aktueller ist als Fine-Tuning. RAG reduziert Halluzinationen, verhindert sie aber nicht — das Modell kann Quellen falsch wiedergeben oder Lücken selbst überbrücken. Und die Qualität steht und fällt mit dem Retrieval: Schlechtes Chunking oder eine unpassende Suche kann auch das beste Modell nicht kompensieren.