Lettura congiunta o per opzione? Encoder compatti per decisioni a insieme chiuso da 17 milioni a 1 miliardo di parametri

Abstract degli autori

Molte pipeline basate su modelli linguistici si concludono con una decisione a insieme chiuso, come la scelta di uno strumento. Chiedere a un modello linguistico di grandi dimensioni di prendere questa decisione è lento e rende il risultato sensibile all’ordine delle opzioni. Ci chiediamo quanto possa essere piccolo un encoder per queste decisioni e se debba leggere le opzioni congiuntamente o separatamente. In uno studio con tre seed e 32 milioni di parametri, su un campione tenuto da parte di una suite di 37 benchmark decisionali, l’attribuzione di un punteggio a ciascuna opzione supera quella congiunta di 5,8 punti nella misura della prestazione corretta per il caso a parità di passi dell’ottimizzatore, e di 2,8 punti a parità approssimativa di calcolo impiegato nell’addestramento. Due benchmark esterni confermano il risultato, sebbene non in modo statisticamente significativo sui rispettivi task non visti. Incrociando il tipo di lettura con l’inizializzazione emerge che il vantaggio richiede un’inizializzazione da reranker, il cui input in coppie query-candidato corrisponde alla lettura per opzione; partendo dall’encoder grezzo, i due tipi di lettura sono indistinguibili. L’attribuzione di un punteggio a ciascuna opzione richiede da 5 a 13 volte più passaggi dell’encoder: la latenza mediana è al massimo doppia, ma quella media è più che quadrupla. Dei sei encoder con lettura congiunta rilasciati, da 17 milioni a 1 miliardo di parametri, i modelli da 68 e 150 milioni di parametri superano un classificatore zero-shot DeBERTa-v3 da 435 milioni di parametri di 4,9 e 5,9 punti di accuratezza su 209 task di System1-Arena sottoposti a verifica delle sovrapposizioni, e ottengono risultati almeno pari ai suoi sui 145 task non visti durante l’addestramento. Il più piccolo risponde a una richiesta mediana in 14 millisecondi con 16 thread del processore, contro i 728 del classificatore. Riordinare le opzioni modifica dal 12 al 23% delle risposte dei modelli con lettura congiunta; con l’attribuzione di un punteggio a ciascuna opzione, non ne modifica nessuna. Fino a 68 milioni di parametri, questi modelli sono al primo posto nella rispettiva fascia dimensionale nei test privati, prevalentemente in distribuzione, di una classifica pubblica.