The Pulse
Trillium Labs rende pubblica la ricerca sull’addestramento dell’IA di frontiera
Trillium Labs, un’organizzazione senza scopo di lucro fondata da Nathan Lambert e Tom Zick, intende pubblicare procedure aperte di post-training, dati, codice, valutazioni e checkpoint dei modelli. Il suo lancio mette la richiesta di un esa
AI.info Team · Scritto con l’IA ·
Trillium Labs scommette sul fatto che pubblicare ricerche sulle capacità dell’IA che comportano rischi possa migliorare la sicurezza, mentre alcune aziende di IA sostengono che limitare l’accesso ai sistemi potenti aiuti a contenerne i rischi. L’organizzazione senza scopo di lucro ha annunciato il proprio lancio il 1° ottobre, dichiarando che metterà a disposizione metodi e materiali dettagliati di post-training affinché ricercatori esterni possano esaminarli. I suoi fondatori, Nathan Lambert e Tom Zick, contestano l’idea che la scelta più sicura sia tenere il lavoro più rilevante all’interno di un numero ristretto di laboratori.
La ricetta aperta di Trillium per il post-training
Il laboratorio intende pubblicare procedure di post-training, compresi dati, codice, valutazioni e checkpoint intermedi. Il post-training è il lavoro svolto dopo la costruzione di un modello; secondo Trillium, rendere disponibili questi materiali permetterebbe ai ricercatori di studiare come le decisioni prese durante l’addestramento ne influenzino il comportamento. I gruppi esterni potrebbero quindi verificare gli interventi, indagare sugli insuccessi e adattare i metodi a questioni che i ricercatori originali non hanno affrontato.
I fondatori sostengono che i ricercatori vedono sempre più spesso gli output dei sistemi di frontiera senza avere accesso a informazioni sufficienti per riprodurre il modo in cui quei sistemi sono stati addestrati. Citano lavori precedenti, tra cui il paper sui transformer «Attention Is All You Need» e la ricerca di OpenAI su InstructGPT, come esempi di metodi pubblici che hanno permesso a ricercatori esterni ai gruppi che li hanno sviluppati di studiare e adattare tecniche influenti.
«Il nostro metro di successo è quanta ricerca indipendente quelle risorse rendono possibile», scrivono i fondatori nell’annuncio del lancio. Affermano che l’organizzazione senza scopo di lucro documenterà anche i tentativi falliti e pubblicherà i lavori anche quando i risultati metteranno in discussione le sue ipotesi, anziché trattenere la ricerca per proteggere la proprietà intellettuale.
La trasparenza e le ragioni dell’accesso limitato
Il disaccordo non riguarda soltanto la pubblicazione di paper. Trillium vuole condividere materiali che potrebbero consentire ad altri di riprodurre esperimenti di addestramento, mentre i sostenitori dell’accesso limitato affermano che mantenere i sistemi potenti nelle mani di un gruppo ristretto può ridurre il rischio di danni. Il servizio di WIRED sul lancio descrive questa divisione e osserva che i modelli di frontiera possono automatizzare la scoperta di vulnerabilità e sondare i sistemi informatici.
Lambert ha detto a WIRED che la segretezza limita la possibilità, per chi è esterno, di esaminare le idee e proporre alternative. «L’attuale percorso chiuso dello sviluppo dell’IA di frontiera ci sta facendo fare un passo indietro», ha dichiarato. Anche Tim Fist, direttore delle politiche per le tecnologie emergenti presso l’Institute for Progress, ha detto a WIRED di essere favorevole a una maggiore trasparenza nella ricerca e nello sviluppo.
Le risorse di calcolo e i finanziamenti pongono i limiti
Pubblicare una procedura non basta a renderla riproducibile in modo indipendente. Trillium afferma che una ricerca seria sull’addestramento richiede notevoli risorse di calcolo e competenze ingegneristiche, risorse di cui i ricercatori accademici spesso non dispongono. Il suo piano è creare una base condivisa di esperimenti e documentazione, in modo che i ricercatori possano partire da qualcosa di più dei soli output visibili di un modello.
L’annuncio del lancio indica Halcyon Futures e Schmidt Sciences tra i primi sostenitori e afferma che il laboratorio sta raccogliendo fondi. WIRED riferisce che l’importo raccolto non è stato reso noto; i fondatori hanno detto alla testata che puntano a raccogliere complessivamente tra 40 e 100 milioni di dollari e prevedono di spendere 30 milioni di dollari per l’addestramento nei prossimi 18 mesi. L’annuncio dell’organizzazione afferma inoltre che Trillium sta assumendo personale e cercando sostegno per le risorse di calcolo.
La prova sarà vedere se altri riusciranno a usare il lavoro
Trillium afferma che si baserà sulla ricerca aperta di Allen Institute for AI, EleutherAI, OpenAthena, Nvidia e Hugging Face, pur sostenendo che le iniziative esistenti non offrano capacità sufficienti per le questioni che vuole studiare. Il lavoro previsto comprende lo studio di come l’addestramento influisca sul comportamento dei modelli e di come l’apprendimento per rinforzo ne plasmi le capacità e la condotta. WIRED riferisce che i fondatori vogliono anche studiare l’automiglioramento ricorsivo, in cui i sistemi di IA contribuiscono allo sviluppo di nuovi modelli.
Il metro dichiarato dall’organizzazione senza scopo di lucro non è il numero di modelli che pubblica, ma quanta ricerca indipendente i suoi materiali rendono possibile. I primi impegni concreti sono una raccolta pubblica di dati, codice, valutazioni e checkpoint di post-training, e il tentativo di finanziare le risorse di calcolo necessarie per produrli.