Gerücht aus der KI-Szene: Neue Rezepte sollen lokale Sprachmodelle beschleunigen
Von Jörg SchockErster Hauptkommissar a. D. · über 35 Jahre Hamburger Polizei
Kurz gesagt: In der Reddit-Community LocalLLaMA kursieren zwei Konfigurationen für die Open-Source-Software vLLM, die auf Nvidias neuer Blackwell-Chipgeneration laufen sollen. Beide komprimieren den sogenannten KV-Cache - den Arbeitsspeicher, den ein Sprachmodell für seinen 'Gedächtnis'-Kontext braucht - auf das besonders sparsame NVFP4-Format. Nach unbestätigten Angaben aus der Community soll das den nutzbaren Kontextspeicher fast verdreifachen und die Antwortgeschwindigkeit je nach Verfahren mehr als verdoppeln. Offizielle Zahlen von Nvidia oder dem vLLM-Projekt gibt es dazu bislang nicht.
Symbolbild: KI-generiert
Wer zuhause große Sprachmodelle auf eigener Hardware betreibt, kennt das Problem: Je länger ein Gespräch oder ein Dokument, desto mehr Grafikspeicher frisst der sogenannte KV-Cache - jener Zwischenspeicher, in dem sich ein Modell merkt, worüber gerade gesprochen wurde. Laut einem Beitrag im Reddit-Forum LocalLLaMA sollen zwei neue Konfigurationen für die freie Inferenz-Software vLLM dieses Problem auf Nvidias aktueller Blackwell-Chipgeneration deutlich entschärfen.
Beide Rezepte setzen auf das Format NVFP4, eine besonders platzsparende 4-Bit-Zahlendarstellung, die Blackwell-Grafikkarten nativ unterstützen sollen. Anstatt nur die Modellgewichte zu komprimieren, wird dabei auch der KV-Cache selbst auf NVFP4 verkleinert. Nach Angaben aus der Community soll das den Speicherbedarf für lange Kontexte um bis zu 2,8-fach reduzieren - konkret soll ein Testsystem mit zwei Nvidia-DGX-Spark-Rechnern dadurch statt der üblichen Menge rund 1,35 Millionen Kontext-Token gleichzeitig vorhalten können.
Für Tempo soll zusätzlich sogenanntes spekulatives Decodieren sorgen - Verfahren, bei denen ein kleineres Hilfsmodell mehrere Wörter vorschlägt, die das Hauptmodell nur noch bestätigen muss. Eines der beiden Rezepte nutzt dafür die etablierte MTP-Methode mit drei Vorschlag-Token, das andere den neueren, community-entwickelten Ansatz DFlash2. Für ein Modell namens Qwen3.8-27B wird laut den Berichten ein rund 2,15-fach höheres Tempo gegenüber klassischer, Wort-für-Wort-Generierung erreicht - bei 32.000 Token Kontextlänge soll die Geschwindigkeit dabei kaum einbrechen, während andere Konfigurationen hier deutlich langsamer würden.
Wichtig für die Einordnung: Es handelt sich um unabhängig zusammengestellte Bastel-Rezepte engagierter Nutzer, nicht um offizielle Nvidia- oder vLLM-Ankündigungen. Einige benötigte Softwareänderungen sind laut den Berichten noch nicht offiziell in vLLM eingeflossen, und die Verfahren gelten als fehleranfällig - so sollen fehlerhafte NVFP4-Berechnungen bislang ohne Warnung falsche Ergebnisse liefern können. Für Privatanwender ist das Thema vor allem für Besitzer teurer Profi-Grafikkarten wie der RTX PRO 6000 relevant; für den Massenmarkt bedeutet es vor allem, dass günstigere Hardware absehbar mehr KI-Leistung liefern könnte, sobald sich solche Optimierungen in offiziellen Software-Versionen niederschlagen.
Quelle: Reddit LocalLLaMA, ergänzt um Angaben aus einem Nvidia-Entwicklerforum-Beitrag zu einem verwandten Setup, abgerufen am 27. August 2026.