Capacità di seguire le istruzioni: comportamento e degrado dei modelli linguistici sotto carico controllato

Abstract degli autori

La qualità con cui i modelli linguistici seguono le istruzioni diminuisce all’aumentare del carico, eppure non esiste ancora una misura che esprima il limite di un modello in unità di carico e con un’incertezza. Proponiamo uno strumento in cui il carico è costituito da regole che sostituiscono parole composte da un singolo token in un testo privo di significato: l’istruzione è atomica, le regole sono indipendenti per costruzione del compito e l’esito di ogni applicazione di una regola è determinato da una risposta di riferimento calcolabile. Ogni occorrenza di una parola da sostituire diventa una prova di Bernoulli, con una posizione nota nella risposta e un numero di regola noto. Il modello statistico misura innanzitutto l’andamento della dipendenza della probabilità di una sostituzione corretta dalla lunghezza del testo, dalla posizione della parola, dalla densità di sostituzione, dal numero di regole e dal numero della regola; poi lo descrive mediante leggi regolari e ripristina un livello di riferimento che non dipende dalla scelta della codifica. Il modello fornisce la capacità di seguire le istruzioni — il numero di regole mantenute a una determinata quota di sostituzioni corrette — con un’incertezza. Una misurazione di GPT-4o mini (2958 richieste, 642.430 prove) ha rilevato andamenti regolari per ogni fattore di carico e per il collasso della risposta; la capacità di seguire le istruzioni era di circa 37-38 regole con una quota di sostituzioni corrette pari a 0,95, e di circa 18-19 regole alla densità massima di sostituzione. Il codice dello strumento, i dati della misurazione e il passaporto sono open, e ogni numero riportato nel passaporto è ricalcolato a partire dai punti pubblicati. Il passaporto di un modello funge da calibrazione per un futuro misuratore del carico di istruzioni dei prompt.