Vai al contenuto
AI.info

The Pulse

Il modello linguistico migliora i propri pesi in un test descritto in un preprint

Un modello linguistico da 27B ha modificato i propri pesi senza avviare un ciclo di addestramento e ha migliorato le proprie prestazioni su problemi mai visti prima, riferiscono i ricercatori. Il team ha anche verificato se il modello fosse in grado di riparare una copia danneggiata.

Il modello linguistico migliora i propri pesi in un test descritto in un preprint

Un modello linguistico aperto da 27B ha modificato i propri pesi ed è diventato più preciso di 6,6 punti percentuali su problemi mai visti prima, riferiscono i ricercatori in un nuovo preprint. L’articolo di Jiajun Fan e colleghi è stato inviato ad arXiv il 16 novembre e rivisto il 18 novembre.

I ricercatori chiamano questo approccio riscrittura autonoma. Invece di usare un altro modello per apportare le modifiche o di eseguire un processo di addestramento convenzionale, hanno dato al modello accesso ai propri pesi, a risposte di esercitazione valutate e a strumenti per eseguire test su sé stesso.

Come ha funzionato la modifica

Il modello poteva compiere una sola azione per turno: eseguire codice sui propri pesi, testare una modifica o ispezionare i propri stati nascosti. Gli autori affermano che la procedura non ha usato gradienti, un ottimizzatore o un modello più potente; la modifica presentata è stata poi valutata su problemi tenuti da parte per il test.

In un esperimento, il modello ha esaminato le differenze nei propri stati nascosti e ha apportato modifiche nei punti in cui aveva rilevato una differenza. Il team ha testato il modello modificato su 490 problemi tenuti da parte, con otto risposte per ciascun problema, usando una valutazione appaiata fissata in anticipo.

In una sequenza di otto sessioni che usava un protocollo di verifica delle modifiche su problemi di esercitazione riservati prima della loro presentazione, la precisione del modello in uso è aumentata o è rimasta invariata, riferisce l’articolo. Le modifiche delle sessioni due e otto hanno ottenuto risultati significativamente migliori del modello iniziale sui problemi tenuti da parte, mentre in cinque sessioni il modello ha ritirato le proprie modifiche.

Ogni sessione è partita dai pesi di base, invece di iniziare con quelli presentati nella sessione precedente. Una modifica presentata sostituiva il modello in uso; una modifica ritirata lo lasciava invariato.

Riparare una copia danneggiata

In un esperimento separato, i ricercatori hanno sovrascritto con rumore un blocco dei pesi di una copia e hanno detto al modello che alcuni valori erano stati corrotti. Il modello integro ha modificato la copia danneggiata senza riaddestrarla, secondo l’articolo.

I ricercatori affermano che il modello ha individuato la matrice corrotta senza leggere i pesi della copia integra e ha scritto valori propri invece di ripristinare quelli originali. La riparazione è stata sviluppata usando problemi matematici testuali, poi testata su attività basate su immagini che il modello non aveva mai visto.

Su sei benchmark di immagini mai visti prima, ciascuno con 100 problemi, la copia riparata ha raggiunto l’83% della precisione del modello di base, riferiscono gli autori. Su ScreenSpot-v2, riferiscono che la precisione è passata dallo 0% della copia danneggiata all’89% dopo la riparazione, rispetto al 93% del modello di base.

Risultati diversi a seconda delle dimensioni

Il team ha anche confrontato modelli della stessa famiglia con 2B, 4B, 9B e 27B parametri, assegnando loro lo stesso compito e gli stessi strumenti. Il modello da 2B non ha apportato modifiche, mentre quelli da 4B e 9B hanno peggiorato le proprie prestazioni, secondo l’articolo. In quei test, solo il modello da 27B è riuscito a migliorare sé stesso e a riparare la propria copia danneggiata.

L’articolo segnala una differenza nei budget delle sessioni: con il budget condiviso da tutti i modelli, quello da 27B ha raggiunto un numero maggiore dei passaggi necessari per riscrivere sé stesso, mentre altre sessioni sui suoi stessi pesi indicavano un budget di token più breve, che lasciava tempo per più test. Gli autori affermano che ogni sessione alla base dei maggiori miglioramenti è durata alcune ore su una singola GPU e che la modifica risultante rimane nei pesi senza aggiungere calcoli a ogni risposta successiva.

Fonti

  1. Fonte originale · Preprint Language Models Can Rewrite Their Own Weights arXiv:2611.21885

Notizie correlate

Esplora

Altri articoli