Test-Time Memory Evolution può superare l’addestramento in fase di test nella scoperta scientifica?

Abstract degli autori

I recenti framework di \emph{addestramento in fase di test} (TTT) hanno permesso ai modelli linguistici di grandi dimensioni (LLM) a pesi aperti di superare, nei compiti di scoperta scientifica, i framework basati sulla sola inferenza che utilizzano modelli di frontiera. Tuttavia, TTT comporta un costo computazionale aggiuntivo per l’aggiornamento online dei pesi durante il processo di scoperta: l’efficienza computazionale diventa quindi un fattore importante nel passaggio a modelli più grandi. Questo ci spinge a esplorare un metodo efficiente di \emph{adattamento in fase di test} per la scoperta scientifica. Proponiamo \emph{Test-Time Memory Evolution} (TTME), un metodo di adattamento in fase di test plug-and-play, come alternativa a TTT. TTME aggiorna continuamente la memoria esterna distillando l’esperienza per orientare le scoperte successive, senza aggiornare i pesi del modello. Per un confronto omogeneo, valutiamo TTME e TTT nello stesso framework di scoperta, cambiando soltanto il metodo di adattamento in fase di test. La nostra valutazione mostra che TTME supera TTT in tutti e cinque i compiti matematici, riducendo al contempo il costo computazionale dell’$82.8$-$84.6\%$ in termini di FLOPs e il tempo di esecuzione del $47.7$-$58.4\%$. Questi risultati dimostrano che TTME è un’alternativa efficace e computazionalmente efficiente a TTT nei contesti di scoperta valutati.