The Pulse
AMD afferma che Unsloth porta l’inferenza su NPU in oltre 100 app e flussi di lavoro di IA agentica
Unsloth Desktop ora collega le applicazioni compatibili ai modelli in esecuzione sulle unità di elaborazione neurale AMD XDNA 2 nei PC Ryzen AI supportati. AMD afferma che l’integrazione raggiunge oltre 100 applicazioni e flussi di lavoro di IA agentica.

Gli utenti di Unsloth Desktop possono ora eseguire localmente modelli di IA supportati sulle unità di elaborazione neurale AMD XDNA 2 nei PC Ryzen AI compatibili. AMD afferma che l’integrazione collega questa inferenza su NPU a oltre 100 applicazioni e flussi di lavoro di IA agentica compatibili.
Fonte newsroom.amd.com
AMD XDNA 2 è la prima architettura NPU supportata da Unsloth Desktop, secondo l’annuncio dell’azienda del 19 novembre. L’integrazione offre un’alternativa all’esecuzione su GPU per l’inferenza dei modelli supportati, lasciando CPU e GPU a disposizione di altre applicazioni.
Come arrivano le richieste alla NPU
Un’applicazione compatibile invia una richiesta relativa a un modello all’API di Unsloth Desktop. Lemonade e FastFlowLM gestiscono la distribuzione del modello e l’inferenza sulla NPU; la risposta viene quindi restituita all’applicazione per essere utilizzata nel suo flusso di lavoro.
Unsloth Desktop offre un endpoint conforme a OpenAI per le applicazioni compatibili. Tra gli strumenti citati da AMD figurano Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain e GitHub Copilot.
Unsloth fornisce anche strumenti open source per il fine-tuning dei modelli e un’applicazione desktop per l’addestramento e l’inferenza senza scrivere codice. L’integrazione con la NPU amplia l’ecosistema desktop oltre l’esecuzione su CPU e GPU.
Macchine supportate e configurazione
Unsloth indica tra l’hardware supportato i processori Ryzen AI 300, Ryzen AI Max e Ryzen AI 400 con una NPU XDNA 2 o più recente. I sistemi operativi supportati sono Windows 11 e Linux su sistemi x64.
Per Linux, la documentazione specifica il kernel 7.0 o successivo con il driver amdxdna, oppure un kernel meno recente con amdxdna-dkms. Richiede inoltre firmware NPU aggiornato e un’impostazione memlock illimitata.
La configurazione della NPU nel selettore di modelli scarica FastFlowLM e verifica la versione del driver NPU. Una volta completata la configurazione, gli utenti possono selezionare un modello NPU da scaricare e caricare.
Modelli e controlli
La NPU esegue modelli Q4NX a 4 bit, realizzati per il runtime FastFlowLM. Unsloth afferma che i modelli GGUF supportati possono essere convertiti in Q4NX, ma non è ancora possibile caricare direttamente le conversioni degli utenti tramite l’elenco dei modelli NPU.
La documentazione elenca funzionalità tra cui ragionamento, visione, strumenti, ricerca sul web, chat con documenti locali e programmazione con file locali. Le applicazioni e gli script compatibili possono collegarsi ai modelli NPU tramite l’endpoint API di Unsloth.
Le impostazioni includono la lunghezza del contesto e le modalità di alimentazione Risparmio energetico, Bilanciata, Prestazioni e Turbo. Le modifiche a queste impostazioni diventano effettive al caricamento successivo del modello.
Runtime locale
Unsloth gestisce copie separate di Lemonade e FastFlowLM, con cartelle dedicate per runtime, configurazione e modelli. I download dei runtime sono vincolati a versioni specifiche e verificati con checksum SHA-256.
Il server Lemonade gestito accetta connessioni solo dal PC dell’utente e utilizza una nuova chiave di autenticazione ogni volta che si avvia. Chiudendo Unsloth si arresta il runtime gestito.
Fonti
- Fonte originale · Comunicato stampa AMD Newsroom newsroom.amd.com
Altre pagine lette
- Unsloth Documentation unsloth.ai
Aziende in questa notizia
Notizie correlate
- I desktop Nvidia RTX Spark arrivano sul mercato con fino a 128 GB di memoria
- Cerebras porta in produzione l’inferenza IA suddivisa con GPU AMD
- AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER
- AMD conclude l’acquisizione di Taalas per aggiungere silicio per l’inferenza alla roadmap dei suoi acceleratori
- vLLM illustra le MonoKernels opt-in di FlyDSL per decodificare più velocemente sulle GPU AMD