Ir al contenido
AI.info

The Pulse

Thinking Machines lanza Inkling 2 Mini, un modelo de pesos abiertos lo bastante pequeño para un portátil

Thinking Machines Lab ha lanzado Inkling 2 Mini, un modelo de pesos abiertos con una huella de memoria de aproximadamente 20 GB. La empresa también lanzó una variante de investigación para estudiar cómo afectan al rendimiento y a la supervisión las pasadas repetidas por las capas del modelo.

Thinking Machines lanza Inkling 2 Mini, un modelo de pesos abiertos lo bastante pequeño para un portátil

Thinking Machines Lab ha lanzado Inkling 2 Mini, un modelo de IA de pesos abiertos diseñado para ejecutarse en ordenadores locales. La empresa afirma que el modelo ocupa aproximadamente 20 GB de memoria y que está disponible a través de su plataforma Tinker para inferencia y personalización.

Los pesos se pueden descargar de Hugging Face con la licencia Apache 2.0. Thinking Machines también lanzó una variante de investigación aparte para estudiar cómo afecta a su rendimiento y supervisión la arquitectura en bucle del modelo.

Modelo y hardware

Inkling 2 Mini acepta texto e imágenes como entrada y genera texto. La ficha del modelo indica una ventana de contexto de hasta 1 millón de tokens y describe entre sus usos previstos los asistentes de programación, los chatbots y los sistemas que utilizan herramientas.

El modelo es un transformer de mezcla de expertos, una arquitectura que dirige cada token a partes seleccionadas del modelo. Sus 12 capas intermedias se ejecutan tres veces con pesos compartidos, lo que produce 48 aplicaciones de capas por token a partir de 24 capas de pesos.

Inkling 2 Mini tiene 26,4 mil millones de parámetros en total y 3,4 mil millones de parámetros activos. Si se tienen en cuenta las pasadas repetidas, tiene 5,4 mil millones de activaciones de pesos por token. La mayoría de los pesos se entrenan y despliegan con precisión NVFP4, mientras que las cuatro capas finales utilizan MXFP8.

La empresa admite el uso local en dispositivos con Apple silicon y al menos 32 GB de memoria, así como en un NVIDIA DGX Spark. Para otras GPU y plataformas, recomienda 32 GB o más de memoria de vídeo.

Resultados en programación y búsqueda

Thinking Machines afirma que Inkling 2 Mini supera a los modelos de pesos abiertos con menos de 100 mil millones de parámetros en total en benchmarks como DeepSWE v1.1 y Vals Index v2.2. En DeepSWE v1.1, con mini-swe-agent v2.4.6, la empresa informa de una puntuación del 48,2 % para el modelo, frente al 42,2 % de Qwen3.8-27B.

La empresa también informa de una puntuación del 46,5 % en Vals Index v2.2. La comparación de velocidad que publicó utiliza un límite teórico de decodificación de 614 GB/s con pesos BF16 y un tamaño de lote de uno, e incluye las lecturas repetidas a lo largo de los bucles; las configuraciones de evaluación varían según el modelo.

En los benchmarks de búsqueda y uso de herramientas que comunicó la empresa, Inkling 2 Mini obtuvo un 79,0 % en BrowseComp y un 85,3 % en DeepSearchQA, ambos con compactación. Thinking Machines afirma que la puntuación de veracidad del modelo en AA-Omniscience está a la par de la de otros modelos del mismo tamaño y que las pasadas adicionales de su modelo de investigación de bucles variables no mejoraron los benchmarks que requieren muchos conocimientos.

Pruebas de pasadas repetidas

Los bucles permiten que el modelo realice más cálculos sin plasmar todo su razonamiento en una cadena de pensamiento, el texto que se puede leer para supervisar su trabajo. Thinking Machines utilizó la variante de bucles variables en sus experimentos de supervisión porque permite comparar distintas cantidades de pasadas.

En esa variante, la empresa midió un aumento del horizonte temporal sin cadena de pensamiento: de 16 segundos con una pasada a 37 segundos con tres. El rendimiento en un benchmark de razonamiento secuencial siguió mejorando hasta los diez bucles, el doble de los utilizados durante el entrenamiento.

Según la empresa, la cadena de pensamiento escrita por el modelo se acortó a medida que aumentaban los bucles, pero siguió siendo legible. La empresa informa de que el modelo no mostró una tendencia al alza en las pruebas de sabotaje agéntico al añadir bucles.

Fuentes

  1. Fuente original Thinking Machines Lab · página 1 thinkingmachines.ai

Otras páginas leídas

  1. Thinking Machines Lab · página 2 thinkingmachines.ai

Noticias relacionadas

Explora

Más artículos