The Pulse
Ricursive presenta Ripple-65B Preview, un modello a pesi aperti che, secondo l’azienda, supera i modelli aperti statunitensi nel coding agentico
Ricursive Intelligence afferma che il suo modello Ripple-65B Preview ha ottenuto un punteggio di 80,52 su TerminalBench 2.1 ed è stato addestrato su 12.000 miliardi di token. L’azienda descrive anche l’architettura del modello, i costi di a

AI.info Team · Scritto con l’IA · verificato ·
Ricursive Intelligence afferma di aver pubblicato Ripple-65B Preview, una variante generalista del modello proprietario alla base della sua piattaforma di progettazione di chip per l’IA. L’azienda dichiara di aver addestrato il modello da zero e che questo stabilisce un nuovo stato dell’arte tra i modelli statunitensi a pesi aperti nel coding agentico. Secondo Ricursive, Ripple-65B Preview è stato preaddestrato su 12.000 miliardi di token e supporta una lunghezza di contesto fino a 1 milione di token.
Ricursive riporta un punteggio di 80,52 su TerminalBench 2.1
Ricursive riporta per Ripple-65B Preview un punteggio di 80,52 su TerminalBench 2.1. Secondo l’azienda, il risultato supera quello di modelli statunitensi a pesi aperti significativamente più grandi, come Reflection Beam 501B, con 80,1, Meta Muse Spark Open 816B, con 76,4, Thinking Machines Inkling 975B, con 63,8, e NVIDIA Nemotron 3 Ultra 550B, con 56,4. Ricursive descrive Ripple come un modello denso che offre solide prestazioni di ragionamento con una generazione di token a bassa latenza. Afferma che il modello può funzionare in modo efficiente su dispositivi locali come NVIDIA DGX Spark, caratterizzati da un’elevata capacità di calcolo in FLOPs e da una bassa larghezza di banda della memoria rispetto agli acceleratori per data center.
Ricursive afferma che sviluppo e addestramento di Ripple-65B Preview sono costati solo 32 milioni di dollari
L’azienda afferma di aver sviluppato e addestrato Ripple-65B Preview per soli 32 milioni di dollari, una cifra che stima essere pari a un decimo del costo del precedente stato dell’arte a pesi aperti nel coding agentico, per quanto ne sa. Ricursive definisce i 32 milioni di dollari come il costo complessivo di R&D a partire da zero. La cifra include lo sviluppo della scala di modelli per il preaddestramento, la combinazione dei dati, le valutazioni, il debugging, la generazione di dati sintetici, lo sviluppo della ricetta di post-addestramento e il ciclo finale principale di preaddestramento e post-addestramento.
Per contestualizzare la spesa per l’addestramento dei modelli, Ricursive cita l’amministratore delegato di OpenAI Sam Altman, che nel 2023 ha affermato che i costi di addestramento di GPT-4 avevano superato i 100 milioni di dollari. Cita anche Dario Amodei, che l’anno successivo ha affermato che addestrare modelli di IA di frontiera può costare fino a 1 miliardo di dollari e che si prevedeva un aumento dei costi a 10-100 miliardi di dollari tra il 2026 e il 2027 per il solo preaddestramento. Ricursive afferma di aver scelto di non acquistare dati per il post-addestramento e di aver invece ideato proprie pipeline di dati sintetici, filtri di qualità e metriche di copertura.
Ricursive riporta solo 1,4 milioni di rollout per un punteggio di 80,5 su TerminalBench 2.1
Ricursive afferma di aver affinato con attenzione le ricette di fine-tuning supervisionato e apprendimento per rinforzo, concentrandosi sull’efficienza computazionale anziché investire in una progressione dell’apprendimento per rinforzo basata sulla forza bruta. La sua ricetta mista di apprendimento per rinforzo utilizza campionamento per importanza troncato, centratura dei punteggi, una penalità lineare sulla lunghezza e ambienti sintetici di alta qualità con orizzonti temporali lunghi. L’azienda afferma di aver adattato i compiti alle capacità del modello e di averne aggiunti continuamente di più difficili man mano che il modello migliorava. Riporta di aver raggiunto un punteggio di 80,5 su TerminalBench 2.1 con soli 1,4 milioni di rollout, circa 70 volte meno di Reflection Beam, il precedente stato dell’arte.
Ricursive ha progettato Ripple-65B Preview come un transformer denso per hardware NVIDIA
Ricursive afferma di aver progettato l’architettura di Ripple-65B Preview perché possa essere addestrata e utilizzata in inferenza in modo efficiente su hardware NVIDIA. L’azienda ha scelto un transformer denso modernizzato anziché un’architettura Mixture-of-Experts (MoE), con l’obiettivo di ridurre la complessità dell’infrastruttura di preaddestramento e post-addestramento, garantendo al contempo solide prestazioni di ragionamento e capacità agentiche. Riporta di aver mantenuto un solido MFU (40%) durante tutto il preaddestramento e il post-addestramento, con uno sharding semplice, senza kernel personalizzati e senza quantizzazione.
Secondo Ricursive, il modello ha una struttura stretta e profonda, con un d_model ridotto di 5120 e 80 livelli complessivi. L’azienda afferma di aver sovradimensionato il numero di teste di attenzione, aumentando al contempo il rapporto tra livelli SWA e globali e riducendo la dimensione della finestra SWA per compensare l’aumento dei costi. Ricursive afferma che Ripple utilizza il clipping delle attivazioni FFN, l’attenzione con gating, NoPE globale e residui dei valori.
Ricursive afferma che la scala di modelli ha migliorato l’efficienza computazionale fino a 16 volte
Ricursive afferma di aver iniziato i suoi esperimenti di preaddestramento con la scala di modelli di Olmo 3 e di aver testato interventi su piccola scala, concentrandosi sulle capacità di coding. La scala v1.0 implementava le leggi di scala di StepFun per la dimensione dei batch e il tasso di apprendimento, mentre la v1.1 introduceva una nuova scala che aumenta gradualmente le dimensioni dell’architettura e la profondità del modello. La scala v1.2 ha cambiato la configurazione di base da post-norm a pre+post norm; secondo l’azienda, la modifica è risultata neutra su piccola scala, ma ha mostrato miglioramenti a partire da 4 miliardi di parametri.
Ricursive afferma che la v1.3 ha implementato l’attenzione con gating sigmoidale, mentre la v1.4 ha implementato 2-stream mHC, che ha mostrato buoni risultati su scala minore ma non ha prodotto miglioramenti alla scala di 4 miliardi di parametri ed è stato quindi scartato. La scala v1.5 è passata a NoPE globale e ha aggiunto una riduzione finale del tasso di apprendimento a zero; la v1.6 ha aggiunto i residui dei valori. Nella versione finale, Ricursive è passata a un dataset di preaddestramento personalizzato, aumentando sostanzialmente la frequenza di campionamento del codice.
L’azienda afferma che l’effetto combinato delle modifiche ha migliorato fino a 16 volte l’efficienza computazionale sul codice, misurata con dolma_stack CE, alla scala di un modello da 4 miliardi di parametri. Secondo Ricursive, la sua scala finale di modelli Ripple può essere usata per ottenere prestazioni sul codice simili a quelle della scala di Olmo 3 con una capacità di calcolo 16 volte inferiore. Ricursive afferma che Ripple-65B Preview è disponibile su Hugging Face, Together AI, GMI Cloud, OpenRouter e Fireworks.