Sulle opportunità e le sfide del trasferimento cross-model da prefill ad autoregressivo

Abstract degli autori

Il trasferimento cross-model da prefill ad autoregressivo (PACT), una forma di comunicazione latente tra modelli linguistici, combina le rappresentazioni del prompt di un modello più grande con la generazione efficiente di un modello più piccolo, offrendo un modo promettente per bilanciare capacità e costi di inferenza. Tuttavia, i sistemi esistenti offrono un supporto limitato alla valutazione indipendente della collaborazione tra modelli grandi e piccoli, e il solo miglioramento delle prestazioni nei task non dimostra che il ricevente tragga beneficio dalle informazioni del mittente. Presentiamo PLatour, un framework PACT open source che collega modelli congelati tramite ponti lineari leggeri, inizializzati a zero e addestrati direttamente con ricompense dei task, e supporta architetture ad attenzione ibrida. PLatour supera nettamente le baseline open source nei task di generazione e supera i risultati riportati da Mostik sui benchmark condivisi di matematica e programmazione, usando un mittente considerevolmente più piccolo. Tuttavia, esperimenti controllati mostrano che i miglioramenti in alcuni task possono essere riprodotti con segnali del mittente privi di informazioni, con la comunicazione del modello con sé stesso o con l’addestramento del solo ricevente. Rileviamo che i ponti addestrabili possono fungere da meccanismi di adattamento efficienti in termini di parametri senza sfruttare informazioni utili provenienti dal mittente. Proponiamo quindi PACT-Check per quantificare quanta parte dei miglioramenti di un sistema PACT addestrato derivi effettivamente dalla comunicazione. Infine, discutiamo le opportunità e le sfide dei sistemi PACT. Il codice è disponibile all’indirizzo https://github.com/zhenyi4/platour.