Fine-Tuning
Stand:
Fine-Tuning bezeichnet das Nachtrainieren eines bereits vortrainierten Modells auf einem kleineren, spezifischen Datensatz, um sein Verhalten, seinen Stil oder seine Fachkompetenz anzupassen. Statt ein LLM von Grund auf zu trainieren — was enorme Daten- und Rechenmengen erfordert — wird ein bestehendes Modell gezielt weiterentwickelt.
Technisch werden dabei die Gewichte des Modells mit Beispieldaten weiter angepasst, typischerweise mit Eingabe-Ausgabe-Paaren des gewünschten Verhaltens. Neben dem vollen Fine-Tuning aller Parameter sind parameter-effiziente Verfahren wie LoRA verbreitet, die nur kleine Zusatzmatrizen trainieren und dadurch deutlich weniger Rechenleistung benötigen. Auch die Alignment-Phasen nach dem Pretraining — Instruction-Tuning und das Lernen aus menschlichem Feedback — sind Formen des Fine-Tunings.
In der Praxis lohnt sich Fine-Tuning vor allem für konsistenten Stil, feste Ausgabeformate, Domänensprache und eng umrissene Spezialaufgaben. Das häufigste Missverständnis ist, Fine-Tuning als Weg zu sehen, dem Modell Faktenwissen einzupflanzen: Dafür ist es schlecht geeignet — das Wissen veraltet, und das Modell kann weiterhin halluzinieren. Für aktuelles oder unternehmensspezifisches Wissen ist RAG meist die bessere Wahl, und oft genügt bereits sorgfältiges Prompting mit Beispielen im Kontextfenster.