Ir al contenido
AI.info

The Pulse

Unsloth Desktop añade inferencia local en las NPU AMD XDNA 2 de los PC Ryzen AI

Unsloth Desktop conecta ahora aplicaciones compatibles con modelos que se ejecutan en unidades de procesamiento neuronal AMD XDNA 2 en PC Ryzen AI compatibles. AMD afirma que la integración llega a más de 100 aplicaciones y flujos de trabajo de IA agéntica.

Unsloth Desktop añade inferencia local en las NPU AMD XDNA 2 de los PC Ryzen AI

Los usuarios de Unsloth Desktop ya pueden ejecutar localmente modelos de IA compatibles en unidades de procesamiento neuronal AMD XDNA 2 de PC Ryzen AI compatibles. AMD afirma que la integración conecta esa inferencia en NPU con más de 100 aplicaciones y flujos de trabajo de IA agéntica compatibles.

Fuente newsroom.amd.com

AMD XDNA 2 es la primera arquitectura de NPU compatible con Unsloth Desktop, según el anuncio de la empresa del 19 de noviembre. La integración ofrece una alternativa a la ejecución en GPU para la inferencia de los modelos compatibles, y deja disponibles los recursos de la CPU y la GPU para otras aplicaciones.

Cómo llegan las solicitudes a la NPU

Una aplicación compatible envía una solicitud de modelo a la API de Unsloth Desktop. Lemonade y FastFlowLM gestionan el servicio y la inferencia del modelo en la NPU, y la respuesta vuelve a la aplicación para usarla en su flujo de trabajo.

Unsloth Desktop ofrece un endpoint compatible con OpenAI para aplicaciones compatibles. Entre las herramientas mencionadas por AMD figuran Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain y GitHub Copilot.

Unsloth también ofrece herramientas de código abierto para ajustar modelos mediante fine-tuning y una aplicación de escritorio para entrenar e inferir sin escribir código. La integración con NPU amplía el ecosistema de escritorio más allá de la ejecución en CPU y GPU.

Equipos compatibles y configuración

Unsloth incluye entre el hardware compatible los procesadores Ryzen AI 300, Ryzen AI Max y Ryzen AI 400 con una NPU XDNA 2 o posterior. Los sistemas operativos compatibles son Windows 11 y Linux en sistemas x64.

En Linux, la documentación especifica el kernel 7.0 o posterior con el controlador amdxdna, o un kernel anterior con amdxdna-dkms. También requiere firmware actualizado para la NPU y un ajuste memlock ilimitado.

La configuración de la NPU desde el selector de modelos descarga FastFlowLM y comprueba la versión del controlador de la NPU. Una vez finalizada la configuración, los usuarios pueden seleccionar un modelo para NPU para descargarlo y cargarlo.

Modelos y controles

La NPU ejecuta modelos Q4NX de 4 bits creados para el entorno de ejecución FastFlowLM. Unsloth afirma que los modelos GGUF compatibles se pueden convertir a Q4NX, aunque todavía no se admite cargar directamente desde la lista de modelos de NPU las conversiones propias de los usuarios.

Su documentación enumera funciones como razonamiento, visión, herramientas, búsqueda web, chat con documentos locales y programación con archivos locales. Las aplicaciones y los scripts compatibles pueden conectarse a los modelos para NPU a través del endpoint de la API de Unsloth.

Los ajustes incluyen la longitud del contexto y los modos de energía llamados Power saver, Balanced, Performance y Turbo. Los cambios en esos ajustes se aplican la próxima vez que se carga el modelo.

Entorno de ejecución local

Unsloth gestiona copias separadas de Lemonade y FastFlowLM, con sus propias carpetas de entorno de ejecución, configuración y modelos. Las descargas del entorno de ejecución están fijadas a versiones específicas y se verifican con sumas de comprobación SHA-256.

El servidor de Lemonade gestionado solo acepta conexiones del PC del usuario y utiliza una nueva clave de autenticación cada vez que se inicia. Al cerrar Unsloth, se detiene el entorno de ejecución gestionado.

Fuentes

  1. Fuente original · Nota de prensa AMD Newsroom newsroom.amd.com

Otras páginas leídas

  1. Unsloth Documentation unsloth.ai

Empresas en esta noticia

Noticias relacionadas

Explora

Más artículos