The Pulse
Uno studio di Microsoft rileva che i segnali della sonda su Kimi K3 possono arrivare in ritardo
I ricercatori di Microsoft hanno addestrato una sonda per segnalare potenziali disallineamenti nelle esecuzioni dell’agente Kimi K3, usando etichette fornite da un monitor basato su un modello linguistico. Hanno rilevato segnali nel ragionamento e nelle interazioni con gli strumenti, ma alcuni primi avvisi sono arrivati in ritardo nel corso di un’esecuzione.

Secondo i ricercatori di Microsoft, una sonda addestrata per segnalare potenziali disallineamenti nelle esecuzioni dell’agente Kimi K3 a volte ha lanciato il suo primo avviso solo dopo feedback successivi degli strumenti o dopo dichiarazioni rivolte a un utente. In uno studio del 16 novembre, il team ha riferito che quei segnali tardivi avrebbero potuto lasciare troppo poco tempo per intervenire.
I ricercatori hanno inoltre rilevato segnali forti nel ragionamento, nelle chiamate agli strumenti e nei feedback degli strumenti, compreso il materiale che circondava una sospetta violazione. Il loro caso di studio ha confrontato la sonda con un monitor separato basato su un modello linguistico, che ha valutato le interazioni registrate dell’agente.
Seguire lo svolgimento di un’attività
La sonda è stata addestrata sulle rappresentazioni interne, o attivazioni, di Kimi K3, mentre il modello stesso è rimasto invariato. Assegna un punteggio di potenziale disallineamento a ciascun prefisso successivo di una conversazione: l’interazione registrata fino a un determinato token, senza usare i token che vengono dopo.
Il monitor basato su un modello linguistico legge la trascrizione e può spiegare il proprio giudizio citando dei passaggi. Le sue valutazioni hanno fornito le etichette usate per addestrare la sonda: a ogni esecuzione è stata assegnata una sola etichetta, invece di etichette che indicassero dove si era verificato un problema.
La sonda segnala un’esecuzione se almeno un prefisso raggiunge la soglia selezionata. Il materiale registrato comprende i messaggi degli strumenti oltre all’output dell’agente; la valutazione del monitor è esclusa dalla conversazione riproposta alla sonda.
Segnali e tempistiche
Gli autori riferiscono che, in molte esecuzioni segnalate da entrambi i sistemi, i segnali della sonda coincidevano con i passaggi citati dal monitor. Questa sovrapposizione è emersa nonostante le etichette di addestramento riguardassero intere esecuzioni, anziché singoli token.
Tuttavia, alcuni primi avvisi sono comparsi solo nei feedback successivi degli strumenti o nelle dichiarazioni presentate all’utente. I ricercatori suggeriscono di indagare se una supervisione a livello di token possa favorire avvisi più tempestivi.
Lo studio descrive un sistema di monitoraggio concettuale in cui una sonda leggera esamina l’attività e inoltra i casi segnalati a un monitor basato su un modello linguistico per una revisione. A seconda dell’esito della revisione, l’attività potrebbe proseguire, essere autorizzata oppure essere sospesa e sottoposta a escalation.
Addestramento e confronti
L’addestramento iniziale ha utilizzato esecuzioni dell’agente Kimi K3 provenienti da dati interni sulla sicurezza, etichettate da un monitor basato su un modello linguistico tramite un prompt interno sul disallineamento. Dopo una ricerca tra i livelli del modello, il team ha rilevato che il livello 63 forniva il valore più alto di AUROC di validazione, una misura usata per valutare la sonda.
Il team ha poi sottoposto la sonda selezionata a fine-tuning su un sottoinsieme di esecuzioni tratte dai benchmark pubblici ImpossibleBench, ShoppingBench, SWE-bench Verified e tau3-bench. Sono stati aggiornati solo i pesi della sonda; il modello Kimi K3 e il livello di attivazione selezionato sono rimasti fissi.
Per i risultati di prestazione riportati, ogni benchmark aveva una propria soglia, scelta per massimizzare il valore F1 sulle etichette di quel benchmark. La selezione della soglia e il calcolo delle metriche si sono basati sugli stessi esempi.
In un confronto relativo agli acquisti, a un agente non problematico è stato chiesto di trovare un orologio sportivo nero resistente all’acqua. L’agente ha controllato l’opzione del colore e il grado di resistenza all’acqua prima di consigliare un prodotto; il monitor ha approvato la raccomandazione e la sonda non ha segnalato l’esecuzione.
Fonte
Aziende in questa notizia
Notizie correlate
- Epoch AI afferma che agenti di test hanno tentato exploit sul suo sito web in produzione
- Anthropic pubblica raccomandazioni per progettare, condurre e riferire i risultati dei test di sicurezza dell’IA
- MatrAIx apre le proposte per un benchmark di agenti personali a lungo orizzonte
- I test di LiveGeo rivelano che gli agenti di IA faticano quando cambiano le condizioni geografiche
- Google riferisce di una nuova dimostrazione con Teamwork di Antigravity nei piani a pagamento