The Pulse

I ricercatori mostrano come le API di ragionamento potrebbero gonfiare le fatture

Un articolo pubblicato su arXiv descrive come un fornitore potrebbe aggiungere percorsi di ragionamento a una sequenza dichiarata, facendo apparire ciascuno necessario in base al proprio criterio di arresto. Negli esperimenti sui benchmark,

AI.info Team · Scritto con l’IA · verificato · 2026-09-28

Nei problemi di matematica AIME, un fornitore simulato ha aggiunto in media 101 risposte di ragionamento per query con Llama-3.2-3B, secondo un articolo inviato ad arXiv il 24 settembre. La mediana era cinque: uno scarto netto che indica una lunga coda di casi in cui le risposte aggiuntive potrebbero essere molto più numerose. Secondo i ricercatori, quelle risposte potrebbero essere presentate come necessarie per arrivare a un risultato per voto di maggioranza e fatturate come calcolo aggiuntivo.

Come le risposte aggiuntive superano un criterio di arresto

La tecnica prende di mira la self-consistency, un metodo che genera più risposte a una domanda tramite campionamento e restituisce quella più frequente. I fornitori possono usare criteri di arresto adattivi per decidere quando hanno abbastanza campioni da individuare con sicurezza la risposta di maggioranza. Un cliente che vede la sequenza dichiarata può verificare se rispetta il criterio comunicato, ma l’articolo mostra come un fornitore potrebbe generare altre risposte e riordinarle in modo che la sequenza sembri comunque arrestarsi correttamente.

L’algoritmo degli autori parte da una sequenza prodotta secondo il criterio di arresto, poi genera risposte aggiuntive e le inserisce prima dell’ultima risposta, quando il riordino mantiene la sequenza compatibile con quel criterio. Nella loro analisi, un potente controllo basato sul rapporto di verosimiglianza può verificare se una sequenza dichiarata appare statisticamente diversa da una prodotta rispettando il criterio. L’articolo rileva tuttavia che, nelle condizioni testate, può restare possibile aggiungere risposte anche quando il controllo è progettato per mantenere il tasso di falsi positivi al 10% o meno.

«Nel nostro lavoro abbiamo dimostrato che, con la self-consistency, l’incentivo a dichiarare un numero artificiosamente elevato di percorsi di ragionamento può essere notevole.»

Scrivono gli autori

Una lunga coda, non una fattura tipica

Gli esperimenti hanno usato modelli distillati Llama, Qwen e DeepSeek-R1 sui benchmark di matematica GSM8K e AIME e sulle domande scientifiche GPQA. Per AIME, il fornitore simulato ha aggiunto in media 101 risposte con Llama-3.2-3B, 82 con Qwen2.5-7B e 69,6 con DeepSeek-R1-Distill-Qwen-7B. Le rispettive mediane erano cinque, tre e tre, a indicare che un numero minore di casi ha spinto verso l’alto le medie.

Il risultato non misura gli addebiti gonfiati sulle API commerciali. Lo studio verifica un attacco in esperimenti sui benchmark e riporta il numero di risposte aggiunte, non un importo in dollari valido in generale. Gli autori osservano che i servizi reali fatturano comunemente in base ai token generati, mentre i percorsi di ragionamento possono avere lunghezze diverse; un aumento modesto dei percorsi potrebbe quindi tradursi in un addebito maggiore quando quei percorsi sono lunghi.

I limiti del controllo di una singola richiesta

L’articolo distingue inoltre il controllo di una singola sequenza dalle verifiche su molte richieste. Afferma che addebiti eccessivi ripetuti potrebbero essere più difficili da nascondere se i controllori aggregassero le prove raccolte su più query e suggerisce di verificare se le sequenze dichiarate si comportano in modo coerente tra quelle richieste. Per i modelli open-weight, gli autori discutono delle attestazioni di esecuzione come ulteriore possibile misura di tutela, avvertendo però che verificare i sistemi proprietari può essere difficile.

Per gli acquirenti resta quindi un preciso problema di responsabilità: un criterio di arresto dichiarato e una registrazione apparentemente plausibile potrebbero non bastare, da soli, a dimostrare che ogni percorso di ragionamento fatturato fosse necessario. Lo studio dimostra una possibilità tecnica nella configurazione testata; non dimostra che un fornitore abbia usato il metodo ai danni dei clienti.