Das kalifornische Start-up PrismML hat mit Bonsai 27B ein Sprachmodell mit 27 Milliarden Parametern so stark komprimiert, dass es auf einem iPhone läuft. Die kleinste Variante belegt nur 3,9 Gigabyte Speicher, das unkomprimierte Original benötigt etwa 54 Gigabyte. PrismML veröffentlichte das Modell am 14. Juli 2026 unter der Open-Source-Lizenz Apache 2.0.
Zwei Kompressionsstufen sparen bis zu 93 Prozent Speicher
PrismML baut Bonsai 27B auf Alibabas offenem Basismodell Qwen3.6-27B auf und reduziert dessen Gewichte per Quantisierung auf ein bis 1,58 Bit statt der üblichen 16 Bit. Die ternäre Variante mit Werten aus minus eins, null und plus eins kommt auf 1,71 effektive Bit pro Gewicht und belegt 5,9 Gigabyte. Die aggressivere Ein-Bit-Variante mit reinen Plus- und Minus-eins-Werten benötigt nur 1,125 effektive Bit und passt mit 3,9 Gigabyte auf ein iPhone ab Modell 15. Eine gruppenweise Skalierung in 16-Bit-Genauigkeit über Einbettungen, Aufmerksamkeitsschichten und Ausgabeschicht hinweg soll die Genauigkeit trotz der starken Kompression erhalten. Das Modell behält laut PrismML ein Kontextfenster von 262.000 Token, verarbeitet über einen kompakten Bildencoder auch Bilder und unterstützt agentische Fähigkeiten wie Werkzeugaufrufe und mehrstufiges Schlussfolgern. Auf einem iPhone 17 Pro Max erzeugt das Modell nach Unternehmensangaben rund elf Token pro Sekunde bei etwa 672 Token je Prozent Akkuladung. Auf einer Nvidia-RTX-5090-Grafikkarte sind es bis zu 163 Token pro Sekunde. Die Angaben zur Leistungsfähigkeit stammen von PrismML selbst und sind unabhängig nicht verifiziert.
Apple prüft die Technik für eigene Geräte
PrismML-Gründer Babak Hassibi bestätigte laut einem Bericht des Magazins TechTimes, dass Apple und weitere, nicht namentlich genannte Unternehmen die Modelle seines Start-ups testen. Die Gespräche befänden sich in einer frühen Phase, entwickelten sich aber positiv. Apple prüfe demnach Geschwindigkeit, Energieeffizienz und Geräteleistung der komprimierten Modelle. Hintergrund ist der hohe Anteil cloudbasierter Berechnungen bei Sprachassistenten: Die Bank of America schätzt, dass Cloud-KI bis zu 67 Prozent der gewichteten Rechenkosten von Siri verursacht, obwohl sie nur etwa fünf Prozent der Anfragen bearbeitet. Ein auf dem Gerät laufendes Modell würde einen Großteil dieser Anfragen ohne Serverkontakt beantworten und damit Latenz sowie Betriebskosten senken können. PrismML wurde von dem früheren Caltech-Professor Hassibi gegründet und sammelte vor der Veröffentlichung 16,25 Millionen Dollar Startkapital von Khosla Ventures, Cerberus Capital und Caltech ein. Für ein Start-up dieser Größe ist ein Testlauf bei einem Konzern wie Apple ein ungewöhnlich früher Erfolg.
Entwickler erhalten sofortigen Zugriff über GitHub und Hugging Face
Bonsai 27B steht ab sofort über Hugging Face sowie ein öffentliches GitHub-Repository zum Herunterladen bereit. Zusätzlich bietet PrismML für eine begrenzte Zeit einen kostenlosen Entwickler-Vorschauzugang über eine API des Anbieters Together.ai an, über die sich das Modell ohne eigene Hardware testen lässt. Neben iPhones unterstützt das Modell laut Unternehmensangaben auch Laptops über die Frameworks llama.cpp und MLX sowie Nvidia-Grafikkarten über CUDA-Kernel für niedrige Bitbreiten. Interessierte können das Modell zudem browserbasiert über eine WebGPU-Demo auf Hugging Face Spaces ausprobieren, ohne eigene Hardware einzurichten. Eine iOS-App mit dem Namen Locally AI bindet Bonsai 27B bereits ein. Die offene Apache-2.0-Lizenz erlaubt kommerzielle Nutzung und eigene Anpassungen ohne Lizenzgebühren, was die Verbreitung des Modells über PrismMLs eigene Kanäle hinaus beschleunigen dürfte.
Entscheidend wird, ob sich die von PrismML genannten Leistungswerte in unabhängigen Tests bestätigen und ob Apple die Technik tatsächlich in ein eigenes Produkt überführt. Sollte On-Device-Kompression in diesem Umfang zum Standard werden, geriete das Geschäftsmodell cloudbasierter KI-Anbieter unter Druck, deren Umsätze bislang stark an Rechenzentrumskapazität hängen.
