The Pulse
Unsloth Desktop ajoute l’inférence locale sur les NPU AMD XDNA 2 des PC Ryzen AI
Unsloth Desktop relie désormais les applications compatibles aux modèles exécutés sur des unités de traitement neuronal AMD XDNA 2 dans les PC Ryzen AI pris en charge. AMD affirme que l’intégration concerne plus de 100 applications et flux de travail d’IA agentique.

Les utilisateurs d’Unsloth Desktop peuvent désormais exécuter localement des modèles d’IA pris en charge sur des unités de traitement neuronal AMD XDNA 2 dans les PC Ryzen AI compatibles. AMD affirme que l’intégration relie cette inférence sur NPU à plus de 100 applications et flux de travail d’IA agentique compatibles.
Source newsroom.amd.com
AMD XDNA 2 est la première architecture NPU prise en charge par Unsloth Desktop, selon l’annonce de l’entreprise du 19 novembre. L’intégration offre une autre possibilité que l’exécution sur GPU pour l’inférence des modèles pris en charge, laissant les ressources du CPU et du GPU disponibles pour d’autres applications.
Comment les requêtes atteignent le NPU
Une application compatible envoie une requête concernant un modèle à l’API d’Unsloth Desktop. Lemonade et FastFlowLM assurent le service du modèle et l’inférence sur le NPU, puis la réponse est renvoyée à l’application pour être utilisée dans son flux de travail.
Unsloth Desktop propose un point de terminaison conforme à l’API OpenAI pour les applications compatibles. Parmi les outils cités par AMD figurent Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain et GitHub Copilot.
Unsloth fournit également des outils open source pour le fine-tuning des modèles ainsi qu’une application de bureau permettant l’entraînement et l’inférence sans écrire de code. L’intégration du NPU étend l’écosystème de bureau au-delà de l’exécution sur CPU et GPU.
Machines prises en charge et configuration
Unsloth indique que les processeurs Ryzen AI 300, Ryzen AI Max et Ryzen AI 400 dotés d’un NPU XDNA 2 ou plus récent figurent parmi les composants matériels pris en charge. Les systèmes d’exploitation pris en charge sont Windows 11 et Linux sur les systèmes x64.
Sur Linux, la documentation indique qu’il faut le noyau 7.0 ou ultérieur avec le pilote amdxdna, ou un noyau plus ancien avec amdxdna-dkms. Elle demande également un micrologiciel NPU à jour et une valeur illimitée pour le paramètre memlock.
La configuration du NPU dans le sélecteur de modèles télécharge FastFlowLM et vérifie la version du pilote NPU. Une fois la configuration terminée, les utilisateurs peuvent sélectionner un modèle NPU à télécharger et à charger.
Modèles et commandes
Le NPU exécute des modèles Q4NX 4 bits conçus pour l’environnement d’exécution FastFlowLM. Unsloth indique que les modèles GGUF pris en charge peuvent être convertis en Q4NX, mais qu’il n’est pas encore possible de charger directement, depuis la liste des modèles NPU, les conversions réalisées par les utilisateurs eux-mêmes.
Sa documentation répertorie des fonctionnalités telles que le raisonnement, la vision, les outils, la recherche sur le Web, la conversation avec des documents locaux et le codage avec des fichiers locaux. Les applications et scripts compatibles peuvent se connecter aux modèles NPU via le point de terminaison de l’API d’Unsloth.
Les paramètres comprennent la longueur du contexte et les modes d’alimentation nommés Power saver, Balanced, Performance et Turbo. Les modifications de ces paramètres prennent effet au prochain chargement du modèle.
Environnement d’exécution local
Unsloth gère des copies distinctes de Lemonade et de FastFlowLM, avec leur propre environnement d’exécution, leur configuration et leurs dossiers de modèles. Les téléchargements des environnements d’exécution sont verrouillés sur des versions précises et vérifiés à l’aide de sommes de contrôle SHA-256.
Le serveur Lemonade géré n’accepte les connexions que depuis le PC de l’utilisateur et utilise une nouvelle clé d’authentification à chaque démarrage. Quitter Unsloth arrête l’environnement d’exécution géré.
Sources
- Source originale · Communiqué de presse AMD Newsroom newsroom.amd.com
Autres pages lues
- Unsloth Documentation unsloth.ai
Entreprises citées
Articles liés
- vLLM détaille les MonoKernels FlyDSL activables sur option pour accélérer le décodage sur GPU AMD
- Google Cloud détaille l’extraction de métadonnées par l’IA pour les objets de stockage
- Un chercheur affirme que des failles chez CreditNirvana ont exposé 6,6 millions de comptes
- Huawei propose une architecture de cœur de réseau native à l’IA pour les services d’agents
- Microsoft appelle à renforcer les contrôles de sécurité face aux progrès de l’IA de pointe