Dimostrare e migliorare l’ipotesi della rappresentazione platonica con le JEPAs

Abstract degli autori

È fondamentale per l’IA capire se i modelli addestrati su modalità diverse convergono alla stessa rappresentazione del mondo. L’ipotesi della rappresentazione platonica (PRH) ipotizza che ciò avvenga con l’aumentare della scala, ma senza una dimostrazione non offre né una garanzia né una ricetta. Trasformiamo l’ipotesi in un teorema. Per prima cosa, dimostriamo un \emph{Teorema della rappresentazione platonica}: le architetture predittive a embedding congiunto (JEPA), addestrate separatamente su un numero qualsiasi di modalità, apprendono la stessa rappresentazione, a meno di una rotazione, quando le loro coppie positive sono due osservazioni di una stessa scena — \emph{good views} — e il loro disallineamento è limitato negli altri casi. In secondo luogo, mostriamo che la predizione del token successivo è una JEPA con \emph{bad views}: parti di un singolo documento. Questo spiega perché i modelli linguistici si allineano alla visione solo aumentando la scala. In terzo luogo, convalidiamo la teoria passando da 145.000 didascalie ai testi di 940 milioni di immagini web e individuiamo una legge di scala dell’allineamento che predice risultati di esecuzioni non viste entro il rumore dei seed. Le good views richiedono 42 volte meno campioni di addestramento rispetto alla predizione del token successivo, sullo stesso corpus, per raggiungere lo stesso allineamento; inoltre, una JEPA testuale con 109 milioni di parametri si allinea agli encoder per immagini di DINOv2 e CLIP meglio di tutti i modelli linguistici che abbiamo valutato, fino a 72 miliardi di parametri, e dell’encoder testuale di CLIP: la predizione del token successivo è una strada straordinariamente inefficiente per ottenere rappresentazioni platoniche. Come dimostrazione, una rotazione trasforma encoder addestrati separatamente in un generatore di didascalie per immagini (CIDEr 0,838 su COCO). E per questa rotazione non serve neppure una coppia: sul più recente benchmark senza coppie, la nostra JEPA testuale supera tutti i risultati di accuratezza zero-shot riportati con modelli linguistici fino a 8 miliardi di parametri, per esempio 64\% contro un massimo del 56\% di accuratezza top-5 su ImageNet-100. Sono dunque le viste positive, e non la sola scala, la leva per costruire rappresentazioni platoniche.