arXiv:2606.15963 – PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity
Hinweis: Dieser Beitrag beschreibt einen (noch) nicht peer-begutachteten Preprint auf arXiv. Die genannten Ergebnisse sind vom Fachpublikum bislang nicht unabhängig geprüft.
Worum geht es?
Ein Forschungsteam um Muhammad Waseem, Nurbek Tastan und Kolleg:innen (mit Beteiligung von Nicholas D. Lane und Samuel Horváth) stellt in einem aktuellen arXiv-Preprint mit dem Namen PreLort eine neue Methode für das sogenannte Federated Fine-Tuning großer Sprachmodelle vor. Bei diesem Ansatz trainieren mehrere Geräte oder Organisationen gemeinsam an einem Modell, ohne ihre eigenen Trainingsdaten weiterzugeben – jedes Gerät verbessert das Modell lokal, und nur die Modell-Updates werden anschließend zusammengeführt.
Um dabei Rechenaufwand zu sparen, setzen viele solcher Systeme auf LoRA (Low-Rank Adaptation): eine Technik, die beim Training nur einen kleinen Zusatzteil eines Modells anpasst, statt aller Parameter. Das Problem dabei: Nicht jedes teilnehmende Gerät hat gleich viel Rechenleistung und Speicher zur Verfügung. Manche können nur einen kleinen LoRA-Zusatzteil trainieren, andere einen deutlich größeren. Bisherige Verfahren gleichen diese Unterschiede zwar rechnerisch aus, etwa durch das Auffüllen kleinerer Adapter mit Nullen – ordnen die dabei gelernten Informationen aber nicht sinnvoll an. Das führt laut den Autor:innen zu schlecht aufeinander abgestimmten Darstellungen zwischen den Geräten.
Wofür ist es gut / was bringt es?
PreLort soll genau dieses Problem adressieren: eine bessere Zusammenarbeit zwischen Geräten mit unterschiedlicher Rechenleistung beim gemeinsamen Training von Sprachmodellen. Die Methode organisiert die LoRA-Dimensionen in einer Präfix-Hierarchie, sodass die wichtigsten, aufgabenrelevanten Informationen konsequent in den vorderen, von allen Geräten geteilten Dimensionen landen, während zusätzliche Dimensionen ergänzende Kapazität für leistungsfähigere Geräte bereitstellen.
In Experimenten mit den Sprachmodellen TinyLlama-1.1B und Qwen2.5-0.5B auf den Datensätzen Alpaca, Databricks-Dolly-15 und 20 Newsgroups übertraf PreLort bestehende Verfahren wie ZeroPad, HetLoRA und FLoRA bei Genauigkeit und ROUGE-L-Wert und erreichte gleichzeitig eine niedrigere oder vergleichbare Perplexität. Praktisch bedeutet das: Geräte mit wenig Rechenleistung profitieren stärker von den Beiträgen leistungsfähigerer Geräte, weil die gemeinsam genutzten Dimensionen konsistent trainiert und zusammengeführt werden – statt isoliert nebeneinanderher zu lernen.
Wie funktioniert es (vereinfacht)?
Man kann sich die LoRA-Dimensionen wie ineinander verschachtelte Schichten vorstellen, ähnlich einer Zwiebel: Die innersten Schichten enthalten die wichtigsten Informationen, äußere Schichten liefern zusätzliche Feinheiten. PreLort erzwingt diese Ordnung über zwei Mechanismen.
Erstens trainiert jedes Gerät seinen Adapter nicht nur auf voller Stärke, sondern zusätzlich auf allen kleineren „Kürzungen” davon. Ein Gerät mit einem großen Adapter übt also auch, mit nur einem Teil davon auszukommen. Das zwingt die wichtigsten Informationen dazu, sich in den vorderen, gemeinsam genutzten Dimensionen zu konzentrieren, statt sich gleichmäßig über alle Dimensionen zu verteilen.
Zweitens führt der Server die Updates der Geräte segmentweise zusammen: Für jeden Rangbereich werden nur die Geräte gemittelt, die tatsächlich zu diesem Bereich beitragen. Kleinere Adapter werden dabei nicht künstlich mit Nullen aufgefüllt, was laut den Autor:innen eine Verwässerung der gemeinsamen Informationen vermeidet.
Eine Analyse der Autor:innen (Figure 3 im Paper) zeigt den Effekt anschaulich: Bei klassischem Training verteilt sich die Bedeutung der einzelnen Adapter-Dimensionen recht gleichmäßig auf alle Dimensionen. Bei PreLort dagegen konzentriert sich die Bedeutung sichtbar auf die vorderen Dimensionen – ein Beleg dafür, dass die Methode tatsächlich die gewünschte Präfix-Struktur erzeugt.
Einordnung & Grenzen
Die Autor:innen selbst nennen mehrere Einschränkungen. Die Methode benötigt ausreichend viele lokale Trainingsschritte, um die verschachtelten Darstellungen zuverlässig zu lernen – bei zu wenigen Trainingsrunden pro Gerät könnten die Ergebnisse schlechter ausfallen. Das mehrfache Training auf verschiedenen Rangstufen erhöht zudem den Rechenaufwand um rund 40 Prozent gegenüber Standardtraining, auch wenn die Effizienz pro Trainingsschritt gleich bleibt. Und schließlich wurde das Verfahren bislang nur an vergleichsweise kleinen Modellen mit bis zu 1,1 Milliarden Parametern getestet – wie es sich bei deutlich größeren Sprachmodellen verhält, ist noch offen.
Da es sich um einen arXiv-Preprint ohne Peer-Review handelt, sind die berichteten Verbesserungen bislang nicht unabhängig bestätigt. Für Praktiker:innen, die föderiertes Lernen mit heterogener Hardware einsetzen, liefert die Arbeit dennoch einen nachvollziehbaren und methodisch klar beschriebenen Ansatz, der sich mit vertretbarem Mehraufwand testen lässt.
