Condividere il simbolo, non il vettore: comunicare fatti tra modelli linguistici senza addestramento

Abstract degli autori

I sistemi multiagente consentono ai modelli linguistici di risolvere compiti collaborando e condividendo informazioni complementari. Di norma comunicano tramite testo, ma approcci recenti esplorano anche lo scambio degli stati interni dei modelli. Condividere questi stati tra architetture diverse, tuttavia, richiede spesso traduttori appresi o presupposti sulla compatibilità dei modelli. Presentiamo SYNC (Symbol-Indexed Neural Communication), un’interfaccia basata su indici di parole che collega modelli eterogenei senza fine-tuning né un traduttore appreso. A partire da descrizioni che solo il modello mittente può vedere, quest’ultimo seleziona parole da un elenco condiviso e invia i rispettivi indici per ciascun oggetto, senza vedere le domande. Il modello ricevente scrive i fatti descritti nei propri stati nascosti usando le proprie direzioni delle parole: vettori stimati una sola volta a partire dalle sue attivazioni. Verifichiamo l’uso selettivo scambiando un attributo tra due oggetti e richiedendo risposte corrette sugli attributi modificati e su quelli rimasti invariati, prima e dopo lo scambio: quattro risposte in totale. Scegliamo uno strato iniziale in cui scrivere su quattro modelli riceventi usati nello sviluppo, poi manteniamo fissa questa scelta. Con tre diversi modelli mittenti e nove modelli riceventi più recenti, appartenenti a cinque famiglie, la percentuale di successo nelle quattro risposte su nuove scene raggiunge il 72,0-98,3%, fino a 96 punti percentuali in più rispetto alla scrittura in uno strato intermedio; i due modelli riceventi più grandi eguagliano le prestazioni del testo semplice. Un test indipendente dal compito ha previsto in anticipo quali profondità ciascun nuovo modello ricevente può usare (45 casi su 45). Senza ulteriori regolazioni, i messaggi che elencano tutti i fatti mantengono una percentuale di successo dell’89,6-100% con nuove disposizioni, mentre su un compito basato su punti di riferimento con simboli composti da più token i messaggi dei modelli mittenti raggiungono il 23,9-64,0%: meno del testo, ma a fronte dello 0% senza messaggio. Questi risultati mostrano che indici di parole condivisi e direzioni proprie del modello ricevente possono consentire l’uso selettivo dei fatti tra famiglie di modelli senza ulteriore addestramento.