Ir para o conteúdo
AI.info

The Pulse

Thinking Machines lança o Inkling 2 Mini, um modelo de pesos abertos pequeno o bastante para um laptop

A Thinking Machines Lab lançou o Inkling 2 Mini, um modelo de pesos abertos com uma ocupação de memória de aproximadamente 20 GB. A empresa também lançou uma variante de pesquisa para estudar como passagens repetidas pelas camadas do modelo afetam o desempenho e a supervisão.

Thinking Machines lança o Inkling 2 Mini, um modelo de pesos abertos pequeno o bastante para um laptop

A Thinking Machines Lab lançou o Inkling 2 Mini, um modelo de IA de pesos abertos projetado para rodar em computadores locais. Segundo a empresa, o modelo ocupa aproximadamente 20 GB de memória e está disponível na plataforma Tinker para inferência e personalização.

Os pesos podem ser baixados no Hugging Face sob a licença Apache 2.0. A Thinking Machines também lançou uma variante de pesquisa separada para investigar como a arquitetura de loops do modelo afeta o desempenho e a supervisão.

Modelo e hardware

O Inkling 2 Mini aceita entradas de texto e imagem e gera texto. Seu cartão de modelo lista uma janela de contexto de até 1 milhão de tokens e descreve usos previstos, incluindo assistentes de programação, chatbots e sistemas que usam ferramentas.

O modelo é um transformer de mistura de especialistas, uma arquitetura que direciona cada token a partes selecionadas do modelo. Suas 12 camadas intermediárias são executadas três vezes com pesos compartilhados, produzindo 48 aplicações de camada por token a partir de 24 camadas de pesos.

O Inkling 2 Mini tem 26,4 bilhões de parâmetros no total e 3,4 bilhões de parâmetros ativos. Considerando as passagens repetidas, ele tem 5,4 bilhões de ativações de pesos por token. A maioria dos pesos é treinada e implantada com precisão NVFP4, enquanto as quatro camadas finais usam MXFP8.

A empresa oferece suporte ao uso local em dispositivos com Apple silicon e pelo menos 32 GB de memória, além de em uma NVIDIA DGX Spark. Para outras GPUs e plataformas, recomenda 32 GB ou mais de memória de vídeo.

Resultados em programação e busca

A Thinking Machines afirma que o Inkling 2 Mini lidera os modelos de pesos abertos com menos de 100 bilhões de parâmetros no total em benchmarks que incluem DeepSWE v1.1 e Vals Index v2.2. No DeepSWE v1.1, usando mini-swe-agent v2.4.6, a empresa relata uma pontuação de 48,2% para o modelo, em comparação com 42,2% para o Qwen3.8-27B.

A empresa também relata uma pontuação de 46,5% no Vals Index v2.2. A comparação de velocidade publicada usa um limite teórico de decodificação de 614 GB/s com pesos BF16 e tamanho de lote um, incluindo leituras repetidas nos loops; as configurações de avaliação variam conforme o modelo.

Nos benchmarks de busca e uso de ferramentas divulgados pela empresa, o Inkling 2 Mini obteve 79,0% no BrowseComp e 85,3% no DeepSearchQA, ambos com compactação. A Thinking Machines afirma que a pontuação de factualidade do modelo no AA-Omniscience está alinhada à de outros modelos do mesmo tamanho e que passagens adicionais no seu modelo de pesquisa com loops variáveis não melhoraram o desempenho em benchmarks intensivos em conhecimento.

Testes de passagens repetidas

Os loops permitem que o modelo realize mais computação sem registrar todo o seu raciocínio em uma cadeia de pensamento, o texto que pode ser lido para monitorar seu trabalho. A Thinking Machines usou a variante de loops variáveis em seus experimentos de monitoramento porque ela permite comparações entre diferentes números de passagens.

Nessa variante, a empresa mediu um aumento do horizonte temporal sem cadeia de pensamento: de 16 segundos com uma passagem para 37 segundos com três. O desempenho em um benchmark de raciocínio serial continuou melhorando até dez loops, o dobro do número usado durante o treinamento.

Segundo a empresa, a cadeia de pensamento escrita pelo modelo ficou mais curta à medida que os loops aumentaram, mas continuou legível. A empresa relata que o modelo não tendeu a se sair melhor nos testes de sabotagem agêntica à medida que os loops eram acrescentados.

Fontes

  1. Fonte original Thinking Machines Lab · página 1 thinkingmachines.ai

Outras páginas lidas

  1. Thinking Machines Lab · página 2 thinkingmachines.ai

Notícias relacionadas

Explore

Mais artigos