The Pulse
Recursive presenta Flint, un modello per la programmazione da 40 miliardi di parametri utilizzabile in locale
Recursive ha presentato Flint, un modello per la programmazione da 40 miliardi di parametri che ne attiva 2,5 miliardi per token ed è progettato per funzionare su hardware locale. L’azienda afferma che il suo Eureka Machine ha contribuito a
AI.info Team · Scritto con l’IA · verificato ·
Flint attiva soltanto 2,5 miliardi dei suoi 40 miliardi di parametri per ogni token: secondo Recursive, questa scelta permette al nuovo modello per la programmazione di funzionare rapidamente su hardware personale. L’azienda lo ha annunciato il 21 ottobre, presentandolo come un’opzione locale per gli agenti di programmazione, anziché come un servizio che deve inviare il codice a un server remoto. Recursive afferma che il suo piccolo team ha sviluppato Flint da zero in meno di quattro mesi, con l’aiuto del suo sistema di ricerca automatizzata, Eureka Machine.
Le prestazioni dichiarate per Flint riguardano laptop e GPU per server
Recursive riferisce velocità superiori a 125 token al secondo su un MacBook Pro M4 Pro e a 150 su un NVIDIA RTX Spark da 64 GB, con finestre di contesto brevi. Secondo l’azienda, queste velocità arrivano fino al doppio di quelle di modelli comparabili e Flint funziona a una velocità più che quintuplicata rispetto a modelli densi da 25 a 40 miliardi di parametri con punteggi simili nei benchmark di programmazione. Sono risultati comunicati dall’azienda e ottenuti con il suo motore di inferenza ottimizzato, non garanzie valide per ogni configurazione hardware o software.
Un post separato sull’integrazione, pubblicato da vLLM il giorno del lancio e firmato insieme a Inferact e Recursive, riferisce circa 500 token al secondo per una singola richiesta su una GPU NVIDIA GB200, anche con 100.000 token di contesto. Il dato riguarda una GPU per server, non un laptop, e riflette una configurazione di inferenza diversa da quelle usate da Recursive per i risultati su hardware Apple e RTX Spark. Il post di vLLM afferma che i checkpoint NVFP4 e BF16 di Flint funzionano entrambi su una sola GPU.
Il primato nei benchmark è accompagnato dai dettagli sui test
Recursive afferma che Flint è in testa tra i modelli mixture-of-experts con meno di 50 miliardi di parametri totali su SWE-Bench Pro v2, Terminal-Bench 2.1 e SWE-Bench Verified. L’azienda sostiene inoltre che rivaleggia con i modelli densi nella fascia da 25 a 40 miliardi di parametri. Le note sulla valutazione descrivono esecuzioni degli agenti con timeout fino a cinque ore e medie calcolate su almeno cinque tentativi; i test SWE-Bench usano mini-swe-agent senza accesso a Internet, mentre Terminal-Bench usa l’ambiente di test Terminus 2 con accesso a Internet.
Le indicazioni della stessa azienda sono più caute di un semplice «funziona in locale»: per i lavori complessi, Flint potrebbe aver bisogno di istruzioni più dettagliate rispetto ai modelli chiusi più grandi, e Recursive consiglia di suddividere i compiti difficili in attività più piccole, con istruzioni esplicite. L’azienda indica una finestra di contesto massima di 512.000 token, ma raccomanda di restare entro 256.000 per ottenere risultati migliori. Questi limiti e i protocolli dei benchmark sono importanti per gli sviluppatori che confrontano i risultati o integrano il modello nel flusso di lavoro di un agente già esistente.
Eureka Machine ha contribuito a sviluppare il modello e i sistemi che lo supportano
Recursive afferma che Eureka Machine ha contribuito a varie fasi dello sviluppo di Flint, tra cui i dati, le procedure di addestramento, l’infrastruttura e l’ottimizzazione dell’inferenza. L’azienda descrive il sistema come un ciclo di ricerca che propone idee, le mette in pratica, verifica i risultati e li usa per decidere cosa provare dopo. Nel suo resoconto rientrano lavori sull’architettura del modello, sulla quantizzazione e su kernel specializzati; il lancio non presenta Flint come un modello prodotto senza intervento umano.
OpenHands, partner del lancio, afferma di aver testato Flint prima della sua pubblicazione e di supportarlo per gli agenti di ingegneria del software. «Il nuovo modello di Recursive mostra un reale potenziale per la programmazione e i carichi di lavoro degli agenti, combinando solide capacità con la velocità necessaria per attività pratiche di ingegneria del software», ha dichiarato Graham Neubig, cofondatore e responsabile scientifico di OpenHands. OpenHands descrive inoltre l’uso di Flint in un flusso di lavoro in cui un agente può esaminare repository, modificare file, eseguire test e apportare modifiche successive in caso di errori.
I pesi sono aperti; resta da verificare la valutazione sul campo
I pesi di Flint sono disponibili con licenza Apache 2.0 e Recursive indica il supporto per llama.cpp, Ollama, Unsloth, LM Studio, vLLM e SGLang. L’azienda pubblica anche rec, un motore di inferenza leggero ottimizzato per Flint su chip M4 Pro e M5 Pro o Max. Gli sviluppatori possono eseguire il modello su hardware locale compatibile, adattarlo alle proprie applicazioni e mantenere il codice sui propri dispositivi.
I benchmark e i test di velocità pubblicati da Recursive costituiscono la base delle affermazioni dell’azienda su Flint, mentre gli annunci dei partner mostrano che l’integrazione con OpenHands e vLLM è disponibile fin dal primo giorno. Resta da verificare se gli sviluppatori otterranno risultati simili con il proprio hardware e in attività lunghe sui repository.