The Pulse
Thinking Machines bringt Inkling 2 Mini heraus, ein Open-Weight-Modell, das klein genug für einen Laptop ist
Thinking Machines Lab hat Inkling 2 Mini herausgebracht, ein Open-Weight-Modell mit einem Speicherbedarf von etwa 20 GB. Das Unternehmen veröffentlichte außerdem eine Forschungsvariante, um zu untersuchen, wie sich wiederholte Durchläufe durch die Modellschichten auf Leistung und Aufsicht auswirken.

Thinking Machines Lab hat Inkling 2 Mini herausgebracht, ein Open-Weight-KI-Modell, das für den Betrieb auf lokalen Rechnern entwickelt wurde. Das Unternehmen gibt an, dass das Modell einen Speicherbedarf von etwa 20 GB hat und über seine Tinker-Plattform für Inferenz und Anpassungen verfügbar ist.
Die Gewichte können unter der Apache-2.0-Lizenz von Hugging Face heruntergeladen werden. Thinking Machines veröffentlichte außerdem eine separate Forschungsvariante, um zu untersuchen, wie sich die Looping-Architektur des Modells auf Leistung und Aufsicht auswirkt.
Modell und Hardware
Inkling 2 Mini nimmt Text- und Bildeingaben entgegen und erzeugt Text. Laut Model Card verfügt es über ein Kontextfenster von bis zu 1 Million Token. Als vorgesehene Einsatzbereiche werden unter anderem Programmierassistenten, Chatbots und Systeme genannt, die Werkzeuge nutzen.
Das Modell ist ein Transformer mit Mixture-of-Experts-Architektur, bei der jedes Token an ausgewählte Teile des Modells weitergeleitet wird. Seine mittleren 12 Schichten werden mit gemeinsamen Gewichten dreimal durchlaufen. So ergeben sich pro Token 48 Schichtanwendungen aus 24 Schichten mit Gewichten.
Inkling 2 Mini hat insgesamt 26,4 Milliarden Parameter, davon sind 3,4 Milliarden aktiv. Zählt man die wiederholten Durchläufe mit, kommt das Modell auf 5,4 Milliarden Gewichtsaktivierungen pro Token. Die meisten Gewichte werden mit NVFP4-Präzision trainiert und eingesetzt, während die letzten vier Schichten MXFP8 verwenden.
Das Unternehmen unterstützt den lokalen Einsatz auf Apple-Silicon-Geräten mit mindestens 32 GB Arbeitsspeicher sowie auf einem NVIDIA DGX Spark. Für andere GPUs und Plattformen empfiehlt es mindestens 32 GB Grafikspeicher.
Ergebnisse bei Programmierung und Suche
Thinking Machines zufolge liegt Inkling 2 Mini bei Benchmarks wie DeepSWE v1.1 und Vals Index v2.2 vor Open-Weight-Modellen mit weniger als 100 Milliarden Parametern insgesamt. Bei DeepSWE v1.1 mit mini-swe-agent v2.4.6 gibt das Unternehmen für das Modell einen Wert von 48,2 % an, verglichen mit 42,2 % für Qwen3.8-27B.
Das Unternehmen gibt außerdem einen Wert von 46,5 % bei Vals Index v2.2 an. Für den veröffentlichten Geschwindigkeitsvergleich wird eine theoretische Obergrenze der Dekodiergeschwindigkeit von 614 GB/s mit BF16-Gewichten und einer Batchgröße von eins zugrunde gelegt, einschließlich wiederholter Lesevorgänge in den Schleifen. Die Evaluierungsaufbauten unterscheiden sich je nach Modell.
Bei den vom Unternehmen angegebenen Benchmarks für Suche und Werkzeugnutzung erreichte Inkling 2 Mini mit Komprimierung 79,0 % bei BrowseComp und 85,3 % bei DeepSearchQA. Thinking Machines zufolge liegt der Faktizitätswert des Modells bei AA-Omniscience auf dem Niveau anderer Modelle derselben Größe. Zusätzliche Durchläufe verbesserten die Ergebnisse des Forschungsmodells mit variabler Schleifenzahl bei wissensintensiven Benchmarks nicht.
Wiederholte Durchläufe testen
Durch Looping kann das Modell mehr Rechenoperationen ausführen, ohne seine gesamten Überlegungen in einer Gedankenkette niederzuschreiben – dem Text, der gelesen werden kann, um seine Arbeit zu überwachen. Für seine Monitoring-Experimente nutzte Thinking Machines die Variante mit variabler Schleifenzahl, weil sie Vergleiche zwischen unterschiedlich vielen Durchläufen ermöglicht.
Bei dieser Variante maß das Unternehmen, dass sich der Zeithorizont ohne Gedankenkette von 16 Sekunden bei einem Durchlauf auf 37 Sekunden bei drei Durchläufen erhöhte. Die Leistung bei einem Benchmark für serielles Schlussfolgern verbesserte sich bis zu zehn Schleifen weiter – doppelt so viele wie beim Training.
Die schriftliche Gedankenkette des Modells wurde mit zunehmender Schleifenzahl kürzer, blieb laut dem Unternehmen aber lesbar. Demnach zeigte das Modell bei Tests auf agentische Sabotage keinen zunehmenden Trend, als weitere Schleifen hinzukamen.
Quellen
- Originalquelle Thinking Machines Lab · Seite 1 thinkingmachines.ai
Weitere gelesene Seiten
- Thinking Machines Lab · Seite 2 thinkingmachines.ai
Verwandte Meldungen
- AWS ergänzt SageMaker JumpStart um eine Modell-Rangliste
- Illumina zufolge gewinnt sein KI-Modell Arc’ Wettbewerb für virtuelle Zellen
- DMM und Algomatic Dynamics bringen Router für 60 oder mehr KI-Modelle an den Start
- Dynatrace erweitert die Observability in Gemini-Enterprise-Workflows
- Faex ergänzt KI-Plattform um Ebola- und H.-pylori-Screening in der Erprobung