The Pulse

Uno studio rileva parolacce in una minoranza delle esecuzioni di benchmark dei modelli di IA

Vals AI ha rilevato parolacce in 14 dei 102 modelli esaminati su 21 benchmark. MiMo V2.6 Pro di Xiaomi ha registrato la quota più alta di esecuzioni contenenti una parolaccia, anche se i ricercatori non hanno potuto leggere integralmente i ragionamenti di tutti i modelli.

AI.info Team · · verificato · su 2 fonti ↓ · Pubblicato 11 nov 2026

Secondo uno studio di Vals AI, sono comparse parolacce nell’output di 14 dei 102 modelli di IA esaminati nel corso di 200.353 esecuzioni di benchmark. MiMo V2.6 Pro di Xiaomi ha registrato la quota più alta di esecuzioni contenenti una parolaccia, pari all’8,2%, seguito da Inkling 2 Small con il 4,8%.

I ricercatori hanno esaminato i ragionamenti e i messaggi dei modelli, escludendo le chiamate agli strumenti e il loro output. Un’esecuzione corrispondeva al tentativo di un agente di svolgere un compito, mentre un passaggio corrispondeva a un turno del modello all’interno di tale esecuzione.

Dove sono comparse le parolacce

Il team ha esaminato ogni esecuzione su sette benchmark pubblici, tra cui ProgramBench e Terminal-Bench 4. Su altri 14 benchmark, perlopiù privati, ha esaminato il primo tentativo di ciascun modello e riportato i conteggi anziché esempi tratti dalle singole esecuzioni.

Secondo Vals, MiMo V2.6 Pro ha prodotto una parolaccia in 267 delle sue 3.247 esecuzioni. Su ProgramBench, dove gli agenti devono ricostruire un programma a partire dal suo eseguibile e da una descrizione del suo comportamento, ha usato parolacce in 133 esecuzioni su 198. L’espressione più comune del modello è stata «wtf», comparsa 1.944 volte.

MiMo V2.6 Flash ha usato parolacce in 136 esecuzioni, tra cui 98 delle sue 200 esecuzioni su ProgramBench. Ember-1 ha usato parolacce in 31 esecuzioni su 1.676, pari all’1,8%, contro 19 esecuzioni su 3.771, pari allo 0,5%, per Kimi K3. Ember-1 è l’anteprima di ricerca di Fireworks di Kimi K3 di Moonshot.

Compiti lunghi ed esecuzioni fallite

Sei modelli hanno usato la parola «fuck», ma solo tre l’hanno usata in più di un’esecuzione. Secondo lo studio, delle 33 esecuzioni valutate in cui un modello diverso da Inkling 2 Small ha usato la parola, l’88% è fallito, contro il 61% di tutte le esecuzioni valutate di quei modelli. A parte Inkling 2 Small, i modelli hanno usato quella parola solo nei loro ragionamenti, non nei messaggi.

Quattro benchmark con esecuzioni che spesso duravano centinaia di passaggi hanno rappresentato 567 delle 635 esecuzioni contenenti parolacce: ProgramBench, SRE Bench, Code Migration e Terminal-Bench 4. I ricercatori hanno anche osservato che le parolacce non erano sempre associate a una difficoltà apparente: in alcuni casi sono comparse quando un modello riteneva di aver risolto un problema.

I limiti del confronto

Tutti i modelli nei quali sono state rilevate parolacce sono stati rilasciati il 16 luglio 2026 o successivamente. Secondo Vals, i 44 modelli rilasciati in precedenza non hanno prodotto parolacce in 60.949 esecuzioni. Per 23 di quei modelli più vecchi, tuttavia, i ricercatori disponevano di meno di 20 milioni di caratteri di ragionamento ciascuno, una quantità che hanno ritenuto troppo esigua per essere significativa.

I modelli più recenti hanno anche prodotto molto più materiale: 14,6 miliardi di caratteri di ragionamenti e messaggi, contro i 2,0 miliardi dei modelli più vecchi, in parte perché un numero maggiore di essi ha eseguito i benchmark più lunghi. I ricercatori hanno dichiarato di non sapere perché fossero comparse parolacce, suggerendo al contempo che l’addestramento su compiti più lunghi per gli agenti potrebbe essere un fattore.

Diciannove modelli hanno restituito meno di un milione di caratteri di ragionamento, lasciando ai ricercatori poco più dei messaggi da esaminare. Undici di questi erano modelli Claude. I modelli di OpenAI hanno restituito sintesi dei ragionamenti anziché i ragionamenti stessi, per cui Vals ha avvertito che un conteggio pari a zero aveva poco significato per questi modelli.

Vals ha dichiarato di aver esaminato manualmente ogni espressione corrispondente individuata nei modelli diversi da Inkling 2 Small, ad eccezione di 2.141 occorrenze di «wtf» prodotte dai due modelli MiMo, che ha verificato a campione. I ricercatori hanno escluso le corrispondenze che non erano parolacce usate dai modelli, così come le esecuzioni di cui non hanno potuto recuperare l’output: meno dell’1% del totale, oltre ad alcune esecuzioni più vecchie di Vibe Code Bench.