The Pulse
Subquadratic lancia SubQ Snap con un contesto da 384K token
Subquadratic ha presentato SubQ Snap, un modello decisionale per i flussi di lavoro degli agenti con una finestra di contesto fino a 384.000 token di testo e immagini. Secondo l’azienda, il modello costa 0,05 dollari per milione di token in
AI.info Team · Scritto con l’IA ·
Subquadratic ha presentato SubQ Snap il 12 ottobre, descrivendolo come un modello decisionale per i flussi di lavoro degli agenti capace di elaborare fino a 384.000 token di testo e immagini in un’unica richiesta. Secondo l’azienda, le richieste contenenti fino a 100.000 token possono ricevere una decisione in meno di un secondo. Snap è progettato per selezionare gli strumenti, instradare il lavoro, verificare i risultati e stabilire quando un flusso di lavoro debba ricorrere a un modello linguistico più grande.
Un modello per scelte circoscritte
A differenza di un chatbot a cui si chiede di produrre una risposta aperta, Snap è progettato per scegliere tra risposte definite dall’applicazione. Tra gli esempi forniti da Subquadratic ci sono l’individuazione dei file rilevanti, la selezione dello strumento successivo e la verifica del superamento di un test. Il modello restituisce decisioni strutturate anziché un testo discorsivo generato.
Questo formato può adattarsi ai passaggi ripetuti di un flusso di lavoro automatizzato, nei quali un agente ha bisogno di una risposta sì o no, di scegliere tra più opzioni oppure di assegnare un punteggio. La documentazione dell’API di Subquadratic descrive risposte tipizzate e probabilità, con valori di confidenza disponibili per alcuni tipi di risposta. Secondo l’azienda, un modello specializzato può occuparsi di queste decisioni circoscritte, mentre un modello generativo più grande gestisce i compiti che richiedono la scrittura di testi o un ragionamento articolato.
384K token, con un test separato da un milione di token
Subquadratic attribuisce la capacità di Snap di gestire contesti lunghi a Subquadratic Sparse Attention, o SSA, il suo approccio per ridurre il calcolo dell’attenzione necessario all’aumentare della lunghezza dell’input. Secondo l’azienda, il modello accetta insieme testo e immagini, compresi materiali come screenshot, grafici e pagine scansionate. Il limite dichiarato per il prodotto è di 384K token.
Questo limite non coincide con il contesto più lungo riportato nei risultati dei benchmark dell’azienda. Secondo Subquadratic, Snap ha ottenuto punteggi compresi tra 96,3 e 99,8 nei suoi test Decision RULER, con contesti da 32K a un milione di token. L’azienda presenta il risultato da un milione di token come una valutazione, mentre nella descrizione del prodotto specifica un contesto massimo di 384K: il dato del benchmark non va interpretato come una garanzia che l’API possa gestire un milione di token.
Su Decision LCR, un test basato su input composti da più documenti e lunghi da 72K a 115K token, Subquadratic riporta un punteggio di 74,0 per Snap e di 48,0 per Jev, un modello decisionale concorrente. Secondo l’azienda, il risultato di Jev è stato ottenuto suddividendo l’input in blocchi, mentre Snap ha risposto in un solo passaggio. Subquadratic avverte che i punteggi non sono direttamente confrontabili con i risultati pubblicati per il benchmark originale AA-LCR, che valuta risposte scritte anziché decisioni strutturate.
I benchmark dell’azienda mostrano un vantaggio non uniforme
In 16 benchmark Decision Index incentrati su compiti aziendali, Subquadratic riporta un punteggio medio di 67,6 per Snap contro 61,6 per Jev, con Snap in vantaggio in 13 compiti. Le valutazioni comprendono esempi quali il rilevamento del phishing, la revisione dei contratti, l’instradamento delle richieste di assistenza clienti, la previsione dell’output del codice e la selezione degli strumenti. I miglioramenti riportati dall’azienda variano a seconda del compito: Snap supera Jev di 22 punti su PhishNChips, ma ottiene risultati inferiori in due test, tra cui uno che misura quando effettuare una chiamata, porre una domanda, rispondere o rifiutare.
Nella suite più ampia Decision Index 0.2.1, in cui secondo l’azienda le richieste restano sotto i 34K token, Snap ottiene 61,7 punti contro i 57,9 di Jev. Si tratta di valutazioni pubblicate da Subquadratic, non di un’analisi indipendente del modello. I risultati evidenziano una distinzione importante nella proposta dell’azienda: una finestra di contesto ampia può ridurre la necessità di tagliare o suddividere gli input, ma le prestazioni dipendono comunque dal compito decisionale e dagli elementi forniti.
Anteprima pubblica, prezzo basato sull’input
Subquadratic presenta Snap come un modello in anteprima pubblica, disponibile tramite il suo endpoint Decisions. La documentazione identifica il modello come subq-snap-preview, specifica che accetta testo e immagini in input e descrive il supporto per un massimo di quattro immagini per richiesta. Secondo l’azienda, l’accesso è limitato dalla capacità disponibile e potrebbe passare a una lista d’attesa una volta raggiunto tale limite.
Secondo Subquadratic, il prezzo è di 0,05 dollari per milione di token in input, senza costi per i token in output. La quantità di contesto inviata al modello incide quindi direttamente sul costo, anche quando la risposta in sé è gratuita. Per ora, l’offerta concreta è un’API decisionale in anteprima con un limite di 384K token, non un sostituto generalista dei modelli linguistici che generano risposte più lunghe.