Gerücht: KI-Modell soll ganz ohne Multiplikation rechnen
Von Jörg SchockErster Hauptkommissar a. D. · über 35 Jahre Hamburger Polizei
Kurz gesagt: Auf der Plattform Hugging Face ist ein Modell namens Mach-1-Additive-35B des Anbieters Syzygy Research aufgetaucht, das laut eigenen Angaben und einem Post im Forum Reddit LocalLLaMA erstmals bei der Inferenz komplett auf Gewichts-Multiplikationen verzichten soll. Trotz 35 Milliarden Parametern soll die komprimierte GGUF-Datei nur rund 7 GB groß sein und auf gewöhnlichen Laptops bis zu 120 Token pro Sekunde erreichen. Basis soll laut Hersteller-Angaben Alibabas Qwen-3.6-35B-A3B sein, ein Mixture-of-Experts-Modell. Unabhängig geprüft ist bislang nichts - es handelt sich um Herstellerangaben und ein Community-Posting, kein begutachtetes Paper.
Symbolbild: KI-generiert
Im Forum Reddit LocalLLaMA sorgt seit Kurzem ein Post für Aufsehen, der auf ein neues, ungewöhnliches KI-Modell hinweist: laut dem Beitrag hat der Anbieter Syzygy Research am selben Tag ein Modell namens Mach-1-Additive-35B samt fertigen GGUF-Dateien und einem eigenen, angepassten Fork von llama.cpp veröffentlicht. Der Reddit-Nutzer beschreibt es als 35-Milliarden-Parameter-Modell im Mixture-of-Experts-Format (MOE), das bei nur rund 7 GB Dateigröße auch auf Mobil- und Edge-Geräten mit wenig Speicher laufen und auf handelsüblichen Laptops bis zu 120 Token pro Sekunde erreichen soll.
Was Hersteller und Hugging-Face-Seite dazu sagen
Auf der zugehörigen Hugging-Face-Seite von Syzygy Research werden diese Angaben in Teilen bestätigt und ergänzt: Die Modelldatei soll knapp 7,9 GB groß sein und mit einer selbst entwickelten Technik namens "additive Trellis-Codierung" arbeiten, die bei der Inferenz komplett ohne klassische Gewichts-Multiplikation auskommen soll - stattdessen würden vorberechnete additive Werte genutzt. Für den Betrieb ist zwingend der eigene, angepasste llama.cpp-Fork nötig, ein herkömmliches llama.cpp könne die Dateien laut Projektseite nicht laden. Als Basis nennt Syzygy Research nach eigenen Angaben und laut ergänzenden Hugging-Face-Einträgen das MOE-Modell Qwen 3.6 35B-A3B von Alibaba, bei dem von den 35 Milliarden Parametern jeweils nur ein kleiner Teil pro Anfrage aktiv gerechnet wird.
Angebliche Leistungswerte laut Hersteller
Laut einer Ankündigung des Unternehmens auf der Plattform X soll Mach-1 bei nur 1,7 Bit pro Gewicht rund 95 Prozent der Leistung des unkomprimierten Ausgangsmodells über zwölf Agenten- und Reasoning-Benchmarks erreichen - bei etwa einem Zehntel der Größe. Auf der Hugging-Face-Modellkarte werden sogar noch höhere Werte genannt: eine durchschnittliche Leistungs-Beibehaltung von 96,3 Prozent über zwölf Benchmarks, mit Einzelwerten wie 99,2 Prozent bei MATH-500 und 99,8 Prozent bei GSM8K. Wichtig für die Einordnung: Diese Zahlen stammen ausschließlich vom Hersteller selbst, ein unabhängiger Benchmark-Lauf Dritter oder eine Community-Nachmessung liegt bislang nicht vor - die üblichen unabhängigen Referenzen wie LMArena oder Aider-Leaderboards führen Mach-1 bislang nicht.
Warum das trotzdem interessant ist
Sollten sich die Angaben bestätigen, wäre das technisch bemerkenswert: Die allermeisten heutigen Quantisierungsverfahren (etwa GGUF-Formate mit 4 oder 8 Bit) reduzieren zwar die Genauigkeit einzelner Gewichte, rechnen bei der Inferenz aber weiterhin mit klassischen Matrix-Multiplikationen. Ein Verfahren, das komplett ohne Multiplikation auskommt, ähnelt konzeptionell Ansätzen wie BitNet, die auf spezialisierten Rechenwegen deutlich schneller und stromsparender laufen können - relevant vor allem für den Betrieb großer Sprachmodelle auf Smartphones, Mini-PCs oder anderen Geräten mit wenig Rechenleistung und Speicher.
Einordnung: Vorsicht bei ungeprüften Angaben
Für Leser gilt hier besondere Zurückhaltung: Weder der Reddit-Post noch die Modellseite von Syzygy Research sind eine unabhängige, begutachtete Quelle - es handelt sich um Selbstauskünfte eines noch wenig bekannten Anbieters, verbreitet über ein Community-Forum. Ob die versprochene Geschwindigkeit und Genauigkeit auch außerhalb der Hersteller-eigenen Tests Bestand haben, müssen erst unabhängige Nutzer und Benchmark-Plattformen zeigen. Wer das Modell ausprobieren möchte, benötigt zudem zwingend den speziellen llama.cpp-Fork des Anbieters - eine Standard-Installation reicht laut den vorliegenden Angaben nicht aus.
Quelle: Reddit LocalLLaMA