Vai al contenuto
AI.info

The Pulse

AMD afferma che Unsloth porta l’inferenza su NPU in oltre 100 app e flussi di lavoro di IA agentica

Unsloth Desktop ora collega le applicazioni compatibili ai modelli in esecuzione sulle unità di elaborazione neurale AMD XDNA 2 nei PC Ryzen AI supportati. AMD afferma che l’integrazione raggiunge oltre 100 applicazioni e flussi di lavoro di IA agentica.

AMD afferma che Unsloth porta l’inferenza su NPU in oltre 100 app e flussi di lavoro di IA agentica

Gli utenti di Unsloth Desktop possono ora eseguire localmente modelli di IA supportati sulle unità di elaborazione neurale AMD XDNA 2 nei PC Ryzen AI compatibili. AMD afferma che l’integrazione collega questa inferenza su NPU a oltre 100 applicazioni e flussi di lavoro di IA agentica compatibili.

Fonte newsroom.amd.com

AMD XDNA 2 è la prima architettura NPU supportata da Unsloth Desktop, secondo l’annuncio dell’azienda del 19 novembre. L’integrazione offre un’alternativa all’esecuzione su GPU per l’inferenza dei modelli supportati, lasciando CPU e GPU a disposizione di altre applicazioni.

Come arrivano le richieste alla NPU

Un’applicazione compatibile invia una richiesta relativa a un modello all’API di Unsloth Desktop. Lemonade e FastFlowLM gestiscono la distribuzione del modello e l’inferenza sulla NPU; la risposta viene quindi restituita all’applicazione per essere utilizzata nel suo flusso di lavoro.

Unsloth Desktop offre un endpoint conforme a OpenAI per le applicazioni compatibili. Tra gli strumenti citati da AMD figurano Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain e GitHub Copilot.

Unsloth fornisce anche strumenti open source per il fine-tuning dei modelli e un’applicazione desktop per l’addestramento e l’inferenza senza scrivere codice. L’integrazione con la NPU amplia l’ecosistema desktop oltre l’esecuzione su CPU e GPU.

Macchine supportate e configurazione

Unsloth indica tra l’hardware supportato i processori Ryzen AI 300, Ryzen AI Max e Ryzen AI 400 con una NPU XDNA 2 o più recente. I sistemi operativi supportati sono Windows 11 e Linux su sistemi x64.

Per Linux, la documentazione specifica il kernel 7.0 o successivo con il driver amdxdna, oppure un kernel meno recente con amdxdna-dkms. Richiede inoltre firmware NPU aggiornato e un’impostazione memlock illimitata.

La configurazione della NPU nel selettore di modelli scarica FastFlowLM e verifica la versione del driver NPU. Una volta completata la configurazione, gli utenti possono selezionare un modello NPU da scaricare e caricare.

Modelli e controlli

La NPU esegue modelli Q4NX a 4 bit, realizzati per il runtime FastFlowLM. Unsloth afferma che i modelli GGUF supportati possono essere convertiti in Q4NX, ma non è ancora possibile caricare direttamente le conversioni degli utenti tramite l’elenco dei modelli NPU.

La documentazione elenca funzionalità tra cui ragionamento, visione, strumenti, ricerca sul web, chat con documenti locali e programmazione con file locali. Le applicazioni e gli script compatibili possono collegarsi ai modelli NPU tramite l’endpoint API di Unsloth.

Le impostazioni includono la lunghezza del contesto e le modalità di alimentazione Risparmio energetico, Bilanciata, Prestazioni e Turbo. Le modifiche a queste impostazioni diventano effettive al caricamento successivo del modello.

Runtime locale

Unsloth gestisce copie separate di Lemonade e FastFlowLM, con cartelle dedicate per runtime, configurazione e modelli. I download dei runtime sono vincolati a versioni specifiche e verificati con checksum SHA-256.

Il server Lemonade gestito accetta connessioni solo dal PC dell’utente e utilizza una nuova chiave di autenticazione ogni volta che si avvia. Chiudendo Unsloth si arresta il runtime gestito.

Fonti

  1. Fonte originale · Comunicato stampa AMD Newsroom newsroom.amd.com

Altre pagine lette

  1. Unsloth Documentation unsloth.ai

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli