The Pulse

Goodfire usa sonde nei modelli per ridurre i costi del monitoraggio degli agenti di IA

Goodfire afferma che le sonde capaci di leggere i segnali interni di un modello possono ridurre il costo del monitoraggio degli agenti di IA. Baseten prevede di offrirle prima a un numero limitato di partner; i risultati provengono dai test

AI.info Team · Scritto con l’IA · 2026-10-09

«I sistemi di monitoraggio delle attivazioni interne costano davvero poco perché riutilizzano i calcoli del passaggio in avanti».

Eric Ho, cofondatore e amministratore delegato di Goodfire

Goodfire sta applicando questo approccio al monitoraggio degli agenti di IA: usa piccoli classificatori per esaminare i segnali interni di un modello mentre lavora, anziché chiedere a un secondo modello di rileggere ogni passaggio. Baseten, un’azienda che ospita modelli per altre imprese, ha dichiarato il 9 ottobre che sta integrando le sonde basate sulle attivazioni di Goodfire nel proprio servizio di inferenza, nell’ambito di un programma chiamato Project Beacon, partendo da un numero limitato di partner. La proposta di Goodfire è riservare l’esame più costoso da parte dell’IA alle attività segnalate dalle sonde.

Le sonde leggono i segnali all’interno del modello

Un tipico sistema di monitoraggio esterno esamina il testo e le azioni di un agente dopo che il modello li ha prodotti. Le sonde di Goodfire, invece, leggono le attivazioni intermedie — i calcoli interni effettuati mentre il modello genera token — e le classificano alla ricerca di segnali di comportamento rischioso. Quando una sonda segnala un problema, un modello di IA separato può esaminarlo più da vicino.

Il post pubblicato da Goodfire l’8 ottobre riguarda sistemi di monitoraggio degli usi impropri in ambito informatico su due modelli aperti, Kimi K3 e GLM 5.3. Quando il punteggio di una sonda supera una soglia calibrata, un modello di IA incaricato della valutazione esamina lo scambio e può rifiutare la richiesta o lasciare proseguire l’interazione. Baseten afferma che le regole definite per ciascun cliente determineranno se chiedere un’approvazione, rifiutare, ricorrere a un’opzione alternativa o registrare l’evento per gli amministratori. Queste opzioni fanno del sistema un controllo configurabile all’interno del processo di erogazione del modello, non una garanzia che un agente non possa agire in modo non sicuro.

Le cifre sui costi si basano su un test specifico

Nei test condotti da Goodfire sul modello aperto Kimi K3, la sequenza sonda-valutatore è costata circa 185 dollari per milione di turni degli agenti con il ragionamento del modello valutatore attivato e 65 dollari senza, sulla base dei prezzi di OpenRouter. Eseguire lo stesso modello valutatore con ragionamento a ogni turno è costato 5.420 dollari per milione di turni. Goodfire stima che monitorare un milione di turni di Kimi K3 con Claude Opus 5 di Anthropic costerebbe nell’ordine dei 200.000 dollari.

Su un insieme di dati interno di circa 2.400 sessioni di chat e di agenti, con più di 60.000 turni, etichettate da Claude Opus 5, la sequenza ha individuato circa il 93% delle sessioni dannose, interrompendo al massimo il 5,5% di quelle innocue. L’articolo di TechCrunch sul lancio riporta le stesse cifre: 185 dollari, 93% e 5,5%. Alcuni articoli iniziali, tra cui uno di The Inference, citavano circa 51 dollari per circa 1.500 sessioni e un tasso di rilevamento del 94%; questi numeri non compaiono nel post di Goodfire.

L’accesso interno limita dove possono operare i sistemi di monitoraggio

Goodfire afferma che l’esecuzione delle sonde all’interno del proprio motore di erogazione ha modificato la capacità di elaborazione di meno del 2% in quattro carichi di lavoro di prova, una variazione che rientra nel margine di variabilità dei suoi benchmark, e che la sequenza ha aggiunto in media 2 millisecondi per turno degli agenti senza il ragionamento del modello valutatore e 42 millisecondi con il ragionamento attivato. Il sistema dipende però dall’accesso alle attivazioni interne del modello, il che lo rende particolarmente pertinente per chi ospita modelli e per gli operatori che controllano l’infrastruttura di inferenza. Non è semplicemente un componente aggiuntivo capace di esaminare qualsiasi modello accessibile tramite un’API chiusa.

Ho ha spiegato il vantaggio in termini di costi in un’intervista pubblicata dal venture capitalist Matt Turck: il modello sta già calcolando ogni token, quindi un classificatore può operare sulle attivazioni intermedie prodotte e filtrare la maggior parte delle attività che altrimenti richiederebbero l’esame di un modello capace di ragionare. Questa efficienza potrebbe rendere il monitoraggio continuo più accessibile per i fornitori che erogano modelli aperti, ma i risultati riportati sul rilevamento e sui costi restano quelli dei test condotti da Goodfire su Kimi K3, non una misura delle prestazioni su tutti i modelli o nelle applicazioni reali degli agenti.

Controlli meno costosi richiedono comunque un esame

Il valore pratico del sistema dipende da ciò che accade dopo una segnalazione. Nel confronto condotto da Goodfire su sessioni complete, l’aggiunta del sistema di monitoraggio ha portato il tasso con cui Kimi K3 blocca le sessioni dannose da circa il 29% al 96%, ma è aumentato anche il tasso di interruzione delle sessioni innocue, da circa il 5% al 9%. Un sistema di monitoraggio che blocca troppe attività legittime può ostacolare il lavoro, mentre uno che non rileva attività dannose non può sostituire i controlli degli accessi, il sandboxing o un’attenta supervisione.

La novità introdotta da Goodfire consiste nell’inserire un segnale interno nel processo di monitoraggio e usarlo per decidere quando debba intervenire un modello valutatore più costoso. La conclusione più solida sostenuta dai risultati su Kimi K3 è più circoscritta di una soluzione universale per la sicurezza: in quel test, l’approccio basato sulle sonde ha monitorato le sessioni a un costo notevolmente inferiore rispetto ai controlli basati su modelli usati nel confronto, rilevando la maggior parte delle sessioni di hacking malevolo.