Apprendimento non parametrico in contesto con complessità geometrica crescente: ottimalità minimax e adattività dei transformer alla geometria locale

Abstract degli autori

I transformer sono diventati un’architettura centrale per l’apprendimento in contesto (ICL), in particolare grazie alle loro prestazioni all’avanguardia nei modelli linguistici di grandi dimensioni. Questo successo spinge a comprendere come i transformer sfruttino le strutture rilevanti per il compito in dati geometricamente eterogenei. Tuttavia, la teoria non parametrica dell’ICL si è finora concentrata soprattutto su domini euclidei o modelli basati su un’unica varietà. Per colmare questa lacuna, studiamo il problema della predizione in presenza di una geometria locale sconosciuta, modellata mediante miscele di varietà dipendenti dalla dimensione del campione e caratterizzate da dimensioni, regolarità e masse di campionamento eterogenee. Sotto condizioni di separazione locale e di piccole perturbazioni, stabiliamo un limite inferiore minimax che coglie la difficoltà complessiva delle componenti e costruiamo uno stimatore oracle polinomiale locale tangente con un limite superiore corrispondente. Colleghiamo questo stimatore a un transformer softmax a due stadi che incorpora informazioni sulla struttura, dotato di un precondizionatore geometrico e di risolutori polinomiali locali ridotti per ciascuna carta. Il transformer raggiunge un errore di approssimazione trascurabile rispetto al tasso minimax, con profondità logaritmica e dimensioni polinomiali. Infine, ricaviamo un limite di generalizzazione in contesto per i quasi minimizzatori del rischio empirico appartenenti a questa classe. Nel complesso, questi risultati individuano le condizioni in cui il predittore così ottenuto sfrutta la geometria locale e raggiunge il tasso minimax complessivo.