Zum Inhalt springen
AI.info

The Pulse

Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs

Unsloth Desktop verbindet jetzt kompatible Anwendungen mit Modellen, die auf neuronalen Verarbeitungseinheiten (NPUs) von AMD XDNA 2 in unterstützten Ryzen-AI-PCs laufen. AMD zufolge erreicht die Integration mehr als 100 agentische KI-Anwendungen und Workflows.

Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs

Nutzer von Unsloth Desktop können unterstützte KI-Modelle jetzt lokal auf neuronalen Verarbeitungseinheiten (NPUs) von AMD XDNA 2 in kompatiblen Ryzen-AI-PCs ausführen. AMD zufolge verbindet die Integration diese NPU-Inferenz mit mehr als 100 kompatiblen agentischen KI-Anwendungen und Workflows.

Quelle newsroom.amd.com

AMD XDNA 2 ist laut der Ankündigung des Unternehmens vom 19. November die erste von Unsloth Desktop unterstützte NPU-Architektur. Die Integration bietet für die Inferenz unterstützter Modelle eine Alternative zur Ausführung auf der GPU und hält so CPU- und GPU-Ressourcen für andere Anwendungen frei.

Wie Anfragen die NPU erreichen

Eine kompatible Anwendung sendet eine Modellanfrage an die Unsloth-Desktop-API. Lemonade und FastFlowLM übernehmen die Bereitstellung und Inferenz des Modells auf der NPU; die Antwort wird an die Anwendung zurückgesendet und dort im Workflow verwendet.

Unsloth Desktop bietet einen OpenAI-kompatiblen Endpunkt für kompatible Anwendungen. Zu den von AMD genannten Tools gehören Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain und GitHub Copilot.

Unsloth stellt außerdem Open-Source-Tools für das Fine-Tuning von Modellen sowie eine Desktop-Anwendung für Training und Inferenz ohne Programmieren bereit. Die NPU-Integration erweitert das Desktop-Ökosystem über die Ausführung auf CPU und GPU hinaus.

Unterstützte Rechner und Einrichtung

Unsloth führt Prozessoren der Reihen Ryzen AI 300, Ryzen AI Max und Ryzen AI 400 mit einer NPU der Generation XDNA 2 oder neuer als unterstützte Hardware auf. Als Betriebssysteme werden Windows 11 und Linux auf x64-Systemen unterstützt.

Für Linux nennt die Dokumentation Kernel 7.0 oder neuer mit dem amdxdna-Treiber oder einen älteren Kernel mit amdxdna-dkms. Außerdem sind eine aktualisierte NPU-Firmware und eine unbegrenzte memlock-Einstellung erforderlich.

Bei der NPU-Einrichtung in der Modellauswahl wird FastFlowLM heruntergeladen und die Version des NPU-Treibers überprüft. Nach abgeschlossener Einrichtung können Nutzer ein NPU-Modell zum Herunterladen und Laden auswählen.

Modelle und Einstellungen

Die NPU führt 4-Bit-Modelle im Format Q4NX aus, die für die FastFlowLM-Laufzeitumgebung entwickelt wurden. Unsloth zufolge lassen sich unterstützte GGUF-Modelle in Q4NX konvertieren. Eigene Konvertierungen direkt aus der NPU-Modellliste zu laden, wird jedoch noch nicht unterstützt.

Die Dokumentation führt unter anderem Funktionen für Schlussfolgern, visuelle Verarbeitung, Tools, Websuche, Chats mit lokalen Dokumenten und Programmieren mit lokalen Dateien auf. Kompatible Anwendungen und Skripte können über den API-Endpunkt von Unsloth mit NPU-Modellen verbunden werden.

Zu den Einstellungen gehören die Kontextlänge und die Energiemodi Energiesparen, Ausgewogen, Leistung und Turbo. Änderungen an diesen Einstellungen werden beim nächsten Laden des Modells wirksam.

Lokale Laufzeitumgebung

Unsloth verwaltet separate Kopien von Lemonade und FastFlowLM, jeweils mit eigener Laufzeitumgebung sowie eigenen Konfigurations- und Modellordnern. Downloads der Laufzeitumgebungen sind auf bestimmte Versionen festgelegt und werden mit SHA-256-Prüfsummen verifiziert.

Der verwaltete Lemonade-Server akzeptiert Verbindungen nur vom PC des Nutzers und verwendet bei jedem Start einen neuen Authentifizierungsschlüssel. Beim Beenden von Unsloth wird die verwaltete Laufzeitumgebung gestoppt.

Quellen

  1. Originalquelle · Pressemitteilung AMD Newsroom newsroom.amd.com

Weitere gelesene Seiten

  1. Unsloth Documentation unsloth.ai

Unternehmen in dieser Meldung

Verwandte Meldungen

Entdecken

Weitere Artikel