Ir para o conteúdo
AI.info

The Pulse

Unsloth Desktop adiciona inferência local em PCs Ryzen AI com NPUs AMD XDNA 2

O Unsloth Desktop agora conecta aplicativos compatíveis a modelos executados em unidades de processamento neural AMD XDNA 2 em PCs Ryzen AI compatíveis com suporte. A AMD diz que a integração alcança mais de 100 aplicativos e fluxos de trabalho de IA agêntica.

Unsloth Desktop adiciona inferência local em PCs Ryzen AI com NPUs AMD XDNA 2

Os usuários do Unsloth Desktop agora podem executar localmente modelos de IA com suporte em unidades de processamento neural AMD XDNA 2 em PCs Ryzen AI compatíveis. A AMD diz que a integração conecta essa inferência na NPU a mais de 100 aplicativos e fluxos de trabalho de IA agêntica compatíveis.

Fonte newsroom.amd.com

A AMD XDNA 2 é a primeira arquitetura de NPU com suporte do Unsloth Desktop, segundo o anúncio da empresa em 19 de novembro. A integração oferece à inferência de modelos com suporte uma alternativa à execução na GPU, deixando recursos da CPU e da GPU disponíveis para outros aplicativos.

Como as solicitações chegam à NPU

Um aplicativo compatível envia uma solicitação de modelo à API do Unsloth Desktop. O Lemonade e o FastFlowLM cuidam do serviço e da inferência do modelo na NPU, e a resposta retorna ao aplicativo para uso em seu fluxo de trabalho.

O Unsloth Desktop oferece um endpoint compatível com a API da OpenAI para aplicativos compatíveis. As ferramentas citadas pela AMD incluem Hermes Agent, OpenClaw, Open WebUI, Cline, LangChain e GitHub Copilot.

O Unsloth também oferece ferramentas open source para fine-tuning de modelos e um aplicativo para desktop para treinamento e inferência sem escrever código. A integração com a NPU amplia o ecossistema do aplicativo para desktop para além da execução na CPU e na GPU.

Máquinas compatíveis e configuração

O Unsloth lista os processadores Ryzen AI 300, Ryzen AI Max e Ryzen AI 400 com uma NPU XDNA 2 ou mais recente entre os hardwares compatíveis. Os sistemas operacionais com suporte são Windows 11 e Linux em sistemas x64.

No Linux, a documentação especifica o kernel 7.0 ou mais recente com o driver amdxdna, ou um kernel mais antigo com amdxdna-dkms. Ela também exige firmware atualizado da NPU e uma configuração ilimitada de memlock.

A configuração da NPU no seletor de modelos baixa o FastFlowLM e verifica a versão do driver da NPU. Quando a configuração é concluída, os usuários podem selecionar um modelo para NPU para baixar e carregar.

Modelos e controles

A NPU executa modelos Q4NX de 4 bits criados para o runtime FastFlowLM. O Unsloth diz que modelos GGUF compatíveis podem ser convertidos para Q4NX, embora ainda não haja suporte para carregar diretamente as conversões próprias dos usuários a partir da lista de modelos para NPU.

A documentação lista recursos como raciocínio, visão, ferramentas, pesquisa na web, conversa com documentos locais e programação com arquivos locais. Aplicativos e scripts compatíveis podem se conectar a modelos para NPU por meio do endpoint de API do Unsloth.

As configurações incluem o tamanho do contexto e os modos de energia chamados Power saver, Balanced, Performance e Turbo. As alterações nessas configurações entram em vigor na próxima vez que o modelo for carregado.

Runtime local

O Unsloth gerencia cópias separadas do Lemonade e do FastFlowLM, com suas próprias pastas de runtime, configuração e modelos. Os downloads de runtime são fixados em versões específicas e verificados com somas de verificação SHA-256.

O servidor gerenciado do Lemonade aceita conexões apenas do PC do usuário e usa uma nova chave de autenticação a cada inicialização. Ao sair do Unsloth, o runtime gerenciado é encerrado.

Fontes

  1. Fonte original · Comunicado de imprensa AMD Newsroom newsroom.amd.com

Outras páginas lidas

  1. Unsloth Documentation unsloth.ai

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos