Gerücht: Alte Nvidia-GPUs sollen KI-Tempo schaffen
Von Jörg SchockErster Hauptkommissar a. D. · über 35 Jahre Hamburger Polizei
Kurz gesagt: Ein Entwickler hat unter dem Namen „v100-skinny“ selbstgeschriebene CUDA-Kernel veröffentlicht, die auf vier alten Nvidia-V100-Grafikkarten (Baujahr 2017, ohne native FP4-Unterstützung) das komprimierte KI-Modell Qwen 3.6 27B laut eigenen Zahlen auf bis zu 366 Tokens pro Sekunde beschleunigen sollen - bis zu 5,9-mal schneller als mit Standard-Software. Die Angaben stammen aus einem einzelnen Reddit-Beitrag samt GitHub-Code, eine unabhängige Nachprüfung steht noch aus.
Wer heute schnelle KI-Modelle lokal betreiben will, braucht eigentlich aktuelle Grafikkarten mit nativer Unterstützung für stark komprimierte Zahlenformate wie NVFP4. Ein Entwickler mit dem Nutzernamen dnv2003 behauptet nun, genau das auch auf acht Jahre alten Nvidia-V100-Grafikkarten erreicht zu haben - Karten, die eigentlich gar keine FP4-Hardware besitzen.
Was das Projekt „v100-skinny“ verspricht
Laut einem Beitrag im Forum Reddit LocalLLaMA und dem zugehörigen, öffentlich einsehbaren GitHub-Repository hat der Entwickler drei handgeschriebene Rechenkerne für die alte Volta-Architektur (Nvidia V100, technische Bezeichnung SM70) gebaut. Sie sollen das komprimierte KI-Modell Qwen 3.6 27B - eine auf ein Viertel der üblichen Speichergröße geschrumpfte NVFP4-Variante - auf vier V100-Grafikkarten mit bis zu 366 Tokens pro Sekunde laufen lassen. Zum Vergleich: Die mitgelieferte Standard-Software (bekannt als „Marlin“-Fallback) soll laut den Angaben im Repository nur rund 12 Prozent der theoretischen Speicherbandbreite ausnutzen, die neuen Kernel dagegen bis zu 69 Prozent - macht laut eigener Angabe bis zu 5,9-mal mehr Tempo. In einzelnen Aufgaben, etwa strukturierten Textausgaben, soll das Vier-Karten-Gespann sogar mit einer einzelnen, deutlich jüngeren Nvidia RTX 5090 mit echter FP4-Hardware mithalten können - bei langen Denkaufgaben bleibt die neue Karte laut den Angaben aber weiterhin klar vorn.
Warum das für alte Hardware ein großer Schritt wäre
Die V100 kam 2017 auf den Markt und ist im schnelllebigen KI-Geschäft technisch längst überholt - unter anderem, weil sie kein natives FP4-Format unterstützt, das moderne KI-Beschleuniger für Geschwindigkeit und Speicherersparnis nutzen. dnv2003 umgeht das laut eigener Beschreibung, indem die alten „mma.sync“-Rechenbefehle der Volta-Architektur auf ungewöhnliche Weise mit komprimierten Gewichten kombiniert werden - ein Trick, den es laut dem Entwickler bislang öffentlich nicht gab. Genannt werden aber auch klare Einschränkungen: Die Kernel funktionieren bislang nur mit diesem einen Modell, setzen einen speziellen, nicht offiziell unterstützten Software-Fork voraus und sind bei größeren gleichzeitigen Anfragen (ab acht parallelen Nutzern) langsamer als etablierte Alternativen.
Was davon zu halten ist
Wichtig zur Einordnung: Es handelt sich um einen einzelnen, selbst veröffentlichten Beitrag eines Hobby-Entwicklers ohne begleitende Presseerklärung oder unabhängige Messung durch Dritte - die genannten Zahlen sind bislang unbestätigte Eigenangaben. Bestätigt sich das Tempo in der Praxis, wäre das dennoch eine gute Nachricht für alle, die ausgemusterte Rechenzentrums-Grafikkarten aus zweiter Hand günstig für eigene KI-Projekte nutzen - ein Nischenthema, das aber zeigt, wie viel reine Software-Optimierung aus vermeintlich veralteter Hardware noch herausholen kann. Wer selbst mit V100-Karten experimentiert, findet den Code frei zugänglich auf GitHub; für den breiten Praxiseinsatz empfiehlt sich abzuwarten, bis weitere Nutzer die Werte nachvollziehen konnten.
Quelle: Reddit LocalLLaMA, ergänzt um eigene Recherche im GitHub-Repository v100-skinny.