Pensaci due volte: il rapporto tecnico su Metis-1.6

Abstract degli autori

Metis è una scommessa: dati migliori, metodi di addestramento migliori e nuove architetture possono ottenere ciò che un numero maggiore di parametri non può, a una frazione del costo. Metis-1.6 è il suo passo più recente: due modelli linguistici creati da zero da un singolo ricercatore, Praxis (2,94B di parametri, 0,46B attivi per passaggio) e Logos (10,23B di parametri, 1,18B attivi per passaggio). Per ogni token, entrambi eseguono due volte una struttura ibrida che combina Mamba-2 e un’architettura mixture-of-experts basata sull’attenzione, così che ogni token venga esaminato una seconda volta. Ciascuno è stato addestrato su un totale di 1,02T di token: 804,76B di preaddestramento, 18B per estendere il contesto a 131.072 token e 200B di fine-tuning supervisionato. Metis-1.6 non è mai stato pensato per sfidare i modelli di frontiera e, sui 40 benchmark successivi al post-addestramento, perlopiù non ci riesce: Logos ha una media di 52,93, si classifica settimo su 17 modelli nel gruppo di confronto e resta a meno di un punto da Qwen3-4B. Ma raggiunge questo risultato usando circa un dodicesimo dei dati di addestramento mediani dei modelli di confronto che li rendono noti, e con meno parametri attivi per token di qualsiasi modello che lo superi: così si colloca sulla frontiera di Pareto per entrambi. In matematica si classifica secondo su 30 modelli, con il 67,50% su AIME 2025 e il 63,64% su HMMT February 2026. È debole nella programmazione, nel seguire le istruzioni e nella gestione di contesti lunghi. La parte restante del rapporto è quella che ho trovato più preziosa: ciò che è andato storto. L’ottimizzatore che avevo configurato non è mai entrato in funzione e l’attenzione è stata addestrata con AdamW per tutto il preaddestramento. Una memoria n-gram da 1,77B di parametri ha imparato a disattivarsi da sola. Cinque scelte di fine-tuning hanno ridotto le capacità. E una ricompensa basata sulla lunghezza, con normalizzazione rispetto alla media del gruppo, penalizzava le soluzioni corrette perché lunghe quando il tasso di successo di un gruppo superava i 2/3: dimostro questa inversione di segno e la correggo con una singola riga di clamp. Concludo con gli studi di ablazione su 10B di token alla base di MoRE (miscela di esperti ricorsivi), l’architettura iterativa di Metis-1.7.