Il collasso delle etichette nell’apprendimento in contesto dei modelli linguistici a diffusione

Abstract degli autori

L’apprendimento in contesto (ICL) permette di applicare i grandi modelli linguistici a nuovi compiti anteponendo a una query pochi esempi etichettati. Studi precedenti hanno esaminato l’effetto dell’ordine degli esempi sull’ICL, ma l’interazione tra le modalità di disposizione delle etichette e i bias dei modelli non è stata analizzata sistematicamente. Definiamo «collasso delle etichette» il caso in cui il modello genera etichette indipendenti dalla query e mostriamo che, alla scala 8-9B testata, il fenomeno si verifica in tutte le architetture esaminate: cinque modelli appartenenti alle famiglie autoregressive (Llama-3, Qwen3.5) e a diffusione discreta (LLaDA, iLLaDA, LLaDA-Instruct) presentano tutti un collasso delle etichette anche quando gli esempi sono disposti in modo alternato e le classi sono bilanciate. Per alcune coppie di parole usate come etichette, il collasso si verifica praticamente in ogni condizione testata; per altre, la sua direzione si inverte a seconda della disposizione. L’aspetto cruciale è che la sola accuratezza non permette di rilevare il collasso: i modelli possono ottenere un’accuratezza vicina a quella del caso pur generando etichette indipendenti dalla query, un punteggio indistinguibile da quello di una prestazione bilanciata. Il problema può quindi passare inosservato nell’impiego operativo. Come indicatore diagnostico complementare, misuriamo la separazione, ossia il log-odds delle due parole usate come etichette nella posizione della query (la grandezza su cui opera la calibrazione del bias delle etichette). Questo indicatore rende visibile il collasso nascosto dietro l’accuratezza osservata; lo affianchiamo a un protocollo di misurazione che protegge l’estrazione delle etichette dagli artefatti dovuti al tokenizer e alla formattazione. Nei modelli autoregressivi, il collasso persiste anche dove non si applica la spiegazione basata sul bias verso l’etichetta maggioritaria, e la disposizione degli esempi può invertirne la direzione. Per i modelli a diffusione, presentiamo una valutazione sistematica delle modalità di fallimento dell’ICL, che integra studi contemporanei sulla comprensione del contesto nei dLLM e sulla sensibilità all’ordine degli esempi, e individuiamo questioni aperte su come il processo iterativo di rimozione del rumore interagisca con i bias delle etichette.