Ein deutsches Forschungskonsortium hat mit Soofi S ein offenes Sprachmodell veröffentlicht, das gezielt für Deutsch und Englisch trainiert wurde. Das Modell mit 31,6 Milliarden Parametern soll nach Angaben der Entwickler die offenen Modelle Apertus 70B und Olmo 3 32B bei kombinierten Benchmarks übertreffen.
Konsortium trainiert Modell auf Telekom-Infrastruktur in München
Soofi S basiert auf einer hybriden Architektur aus Mamba-2-Schichten und einem Mixture-of-Experts-Ansatz, der nur einen Teil des Netzwerks pro Anfrage aktiviert. Von den 31,6 Milliarden Parametern sind nur 3,2 Milliarden pro Token aktiv, was die Recheneffizienz gegenüber klassischen dichten Modellen deutlich erhöht. Das Modell verarbeitet Kontexte von bis zu 256.000 Token.
Das Training lief laut dem technischen Bericht des Soofi-Projekts von März bis Mai 2026 auf bis zu 512 Nvidia-B200-Grafikprozessoren der Industrial-AI-Cloud der Deutschen Telekom in München und verbrauchte rund 253.000 GPU-Stunden. Die Anlage arbeitet mit Ökostrom und nutzt Wasser aus dem Eisbach zur Kühlung. Insgesamt verarbeitete Soofi S etwa 27 Billionen Token in drei Phasen. Der Deutschanteil stieg dabei von 7,2 Prozent in der ersten auf 15,3 Prozent in der zweiten Phase – deutlich mehr als der bei internationalen Modellen übliche Anteil von rund fünf Prozent für alle Sprachen außer Englisch.
Koordiniert wird das Vorhaben vom KI Bundesverband. Beteiligt sind unter anderem die Fraunhofer-Institute IAIS und IIS, das Deutsche Forschungszentrum für Künstliche Intelligenz sowie die Hochschulen TU Darmstadt, Universität Würzburg und das L3S Research Center der Leibniz Universität Hannover. Hinzu kommen die Hochschule für Technik und Wirtschaft Berlin sowie die Unternehmen ellamind und Merantix Momentum. Das Bundesministerium für Wirtschaft und Energie fördert das Projekt mit rund 20 Millionen Euro über das europäische Programm IPCEI-CIS.
Benchmarks zeigen Vorsprung bei deutschen Sprachaufgaben
Unter den als offen eingestuften Modellen erreicht Soofi S laut den Projektangaben in kombinierten Deutsch-Englisch-Benchmarks die Spitzenposition. Bei Programmieraufgaben im Test HumanEval erzielt das Modell 73,8 Prozent, beim deutschsprachigen Pendant MBPP-DE 84,2 Prozent. Im Wissenstest INCLUDE-DE, der Multiple-Choice-Fragen aus mehreren Fachgebieten auf Deutsch prüft, erreicht es 61,2 Prozent. Beim logischen Schlussfolgern über Alltags- und Naturwissenschaftsfragen in ARC-Challenge-DE liegt der Wert bei 92,3 Prozent. Diese Zahlen stammen aus der eigenen Auswertung des Konsortiums und sind unabhängig nicht verifiziert.
In der Gesamtleistung erreicht Soofi S damit ein Niveau, das dichten Modellen mit 14 bis 27 Milliarden Parametern entspricht. Bei 40.000 Token Kontextlänge liefert es zugleich einen acht- bis neunfach höheren Durchsatz als vergleichbare dichte Modelle. Schwächen zeigt das Modell laut technischem Bericht bei deutscher Wettbewerbsmathematik sowie bei der Extraktion einzelner Wörter aus Texten jenseits von 32.000 Token. Zwischenstände des Trainings sowie das Basismodell stehen auf der Plattform Hugging Face zur Verfügung, eine instruktionsoptimierte Version soll folgen.
Projektpartner sehen Beitrag zu digitaler Souveränität Europas
Das Team um Kristian Kersting an der TU Darmstadt steuerte unter anderem eine KI-gestützte Pipeline zur Prüfung der Trainingsdaten sowie ein Modul für logisches Schlussfolgern bei. Jörg Bienert vom KI Bundesverband ordnet das Projekt strategisch ein: „Wer die Basismodelle kontrolliert, kontrolliert einen zentralen Teil der künftigen digitalen Wertschöpfung.” Auch das L3S Research Center betont die Bedeutung unabhängiger europäischer KI-Systeme, da der Zugang zu leistungsfähigen ausländischen Modellen nicht dauerhaft gesichert sei.
Das Vorhaben reiht sich neben Modelle wie das Schweizer Apertus und das europäische Teuken in eine wachsende Zahl staatlich geförderter, offener Sprachmodelle außerhalb der USA und Chinas ein. Anders als rein akademische Projekte bindet Soofi mit der Telekom-Cloud und Industriepartnern wie Merantix Momentum von Beginn an kommerzielle Infrastruktur ein.
Offen bleibt, ob die instruktionsoptimierte Version die aktuell noch als vorläufig gekennzeichnete Lizenz in eine vollständig offene Freigabe überführt und ob deutsche Unternehmen das Modell in der industriellen Erprobung tatsächlich produktiv einsetzen.
