Nvidia zeigt Nemotron 3.5 Lightning - 4x schnellere KI-Agenten
Von Jörg SchockErster Hauptkommissar a. D. · über 35 Jahre Hamburger Polizei
Kurz gesagt: Nvidia hat Nemotron 3.5 Lightning vorgestellt, ein offenes Mixture-of-Experts-Modell mit rund 30 Milliarden Parametern für spezialisierte Aufgaben in Multi-Agent-Systemen. Laut Hersteller liefert es bis zu 4x schnellere Ausgaben und 30 Prozent schnellere Aufgabenerledigung als vergleichbare Modelle, bei laut Nvidia weiterhin Spitzen-Genauigkeit im Benchmark PinchBench. Ergänzend veröffentlicht Nvidia NeMo Switchyard, eine quelloffene Routing-Software, die Anfragen automatisch an das passende Modell verteilt und laut Nvidia die Kosten gegenüber der alleinigen Nutzung von Anthropics Opus 4.8 auf rund ein Drittel senkt. Beides läuft offline auf eigener Hardware von RTX-PCs bis DGX-Systemen.
Symbolbild: KI-generiert
Während die großen KI-Anbieter vor allem an immer größeren Cloud-Chatbots arbeiten, geht Nvidia mit seiner Nemotron-Reihe einen anderen Weg: kleinere, offene Modelle, die lokal laufen und für den Einsatz in mehrstufigen KI-Agentensystemen zugeschnitten sind. Mit Nemotron 3.5 Lightning erweitert Nvidia diese Familie um ein rund 30 Milliarden Parameter großes Mixture-of-Experts-Modell, das speziell für lang laufende, spezialisierte Teilaufgaben innerhalb größerer Agenten-Ketten gedacht ist - etwa wenn eine KI einen Auftrag in mehrere Schritte zerlegt und einzelne Schritte an unterschiedliche Modelle delegiert.
Was die Zahlen bedeuten
Nvidia nennt für Nemotron 3.5 Lightning eine bis zu vierfach höhere Ausgabegeschwindigkeit sowie 30 Prozent schnellere Aufgabenerledigung im Vergleich zu Modellen ähnlicher Größenordnung, gemessen am hauseigenen Agenten-Benchmark PinchBench. Unabhängige Testergebnisse Dritter liegen zum Start nicht vor - die Zahlen stammen bislang ausschließlich von Nvidia selbst, eine Einordnung gegen etablierte externe Benchmarks wie SWE-bench oder LMArena steht noch aus. Das Modell ist offen lizenziert und über Hugging Face, ModelScope, OpenRouter sowie als NIM-Microservice über build.nvidia.com verfügbar, außerdem über Cloud-Partner. Anders als geschlossene Modelle lässt es sich damit auf eigener Hardware betreiben und anpassen, statt nur per API angemietet zu werden.
NeMo Switchyard: der Verkehrslotse für KI-Anfragen
Parallel veröffentlicht Nvidia mit NeMo Switchyard eine quelloffene Routing-Bibliothek, die als Vermittler zwischen einer Anwendung und mehreren KI-Modellen sitzt. Sie übersetzt zwischen den API-Formaten verschiedener Anbieter (etwa OpenAI und Anthropic), protokolliert Betriebskennzahlen und entscheidet nach konfigurierbaren Regeln, welches Modell eine Anfrage am günstigsten und passend zur benötigten Qualität bearbeitet. Laut Nvidia hält Switchyard dabei die Genauigkeit auf Spitzenniveau, senkt aber die Kosten gegenüber der alleinigen Nutzung von Anthropics Opus 4.8 auf knapp ein Drittel. Entwickler müssten ihre Anwendungen dafür nicht umbauen, da Switchyard als Proxy dazwischengeschaltet wird.
Für wen das relevant ist
Für Privathaushalte ändert sich dadurch unmittelbar nichts - die Neuvorstellung richtet sich an Entwickler und Unternehmen, die eigene KI-Agenten betreiben, etwa für Smart-Home-Automatisierung, Kundenservice oder Datenauswertung. Mittelbar zeigt der Schritt aber einen klaren Trend: Weg vom einen großen Universal-Modell, hin zu einem Werkzeugkasten aus mehreren spezialisierten, teils lokal laufenden Modellen, die je nach Aufgabe automatisch ausgewählt werden - ein Muster, das sich absehbar auch in Consumer-Produkten wie smarten Assistenten und Steuerungs-Apps niederschlagen dürfte, sobald Hersteller solche Routing-Ansätze übernehmen.
Quelle: Nvidia Blog. Ergänzende Angaben zu NeMo Switchyard auf Basis des zugehörigen GitHub-Repositoriums.