Gerücht: Soll ein 5-Millionen-Zeilen-Datensatz kleine KI-Modelle zum Denken bringen?
Von Jörg SchockErster Hauptkommissar a. D. · über 35 Jahre Hamburger Polizei
Kurz gesagt: Laut einem Beitrag im Reddit-Forum r/LocalLLaMA soll das Kollektiv SupraLabs einen offenen Trainingsdatensatz mit Millionen Zeilen aus Denkverläufen veröffentlicht haben. Er soll dazu dienen, auch kleine, sparsame Sprachmodelle so zu trainieren, dass sie komplexere Aufgaben Schritt für Schritt durchdenken, statt nur eine Antwort zu raten.
Symbolbild: KI-generiert
Im Reddit-Forum r/LocalLLaMA (Quelle) soll laut einem Nutzerbeitrag ein neuer, sehr umfangreicher Trainingsdatensatz für Sprachmodelle veröffentlicht worden sein. Der Post trägt den Titel „Big Dataset Release" und stammt angeblich vom Team hinter „SupraLabs", das den Datensatz unter dem Namen „reasoning-corpus-4K-5M-v1" auf der Plattform Hugging Face bereitgestellt haben soll.
Worum es laut der Ankündigung geht
Der Datensatz soll mehrere Millionen Trainingsbeispiele enthalten, jeweils bestehend aus einer Nutzerfrage, einem ausführlichen Denkverlauf (im Beitrag „thought_trace" genannt) und einer daraus abgeleiteten finalen Antwort. Genau dieser Denkverlauf ist der eigentliche Clou: Statt einem Modell nur Frage und fertige Antwort vorzusetzen, soll es lernen, den gedanklichen Zwischenweg nachzuvollziehen - also Schritt für Schritt zu rechnen, zu vergleichen oder Probleme zu zerlegen, bevor es antwortet. Laut der Beschreibung soll das Material aus zahlreichen bereits bestehenden offenen Reasoning-Datenquellen zusammengeführt worden sein, unter anderem von bekannten Modellfamilien wie DeepSeek, Qwen und NVIDIA, ergänzt um Angaben zur ungefähren Token-Länge jedes Beispiels.
Warum das für „kleine" Modelle interessant sein soll
Besonders betont wird im Beitrag der Nutzen für sogenannte SLMs (Small Language Models) - kompakte Sprachmodelle, die sich mit deutlich weniger Rechenleistung trainieren und betreiben lassen als die großen Cloud-Modelle. Genau solche kleinen, lokal auf eigener Hardware lauffähigen Modelle sind die Kernzielgruppe der LocalLLaMA-Community. Ein frei nutzbarer Datensatz dieser Größenordnung würde es Hobby-Entwicklern und kleineren Teams erleichtern, eigene Reasoning-Modelle zu trainieren, ohne selbst erst mühsam Denkverläufe von Grund auf sammeln zu müssen.
Unsere Einordnung
Bestätigt ist bislang nur, dass der Beitrag im Forum kursiert - eine unabhängige Prüfung von Qualität, tatsächlichem Umfang oder Lizenzbedingungen des Datensatzes lag uns zum Zeitpunkt der Veröffentlichung nicht vor. Wer selbst Sprachmodelle trainiert oder anpasst, für den könnten frei verfügbare Reasoning-Datensätze dieser Größe grundsätzlich ein Baustein sein, um kleinere Modelle näher an die Denkfähigkeiten großer Cloud-Modelle heranzuführen - ob dieser konkrete Datensatz hält, was der Beitrag verspricht, bleibt aber zunächst unbestätigt.