J-Zero: autoevoluzione unificata Challenger--Solver--Judge a partire da zero dati

Abstract degli autori

I modelli linguistici capaci di autoevolversi si sono recentemente affermati come una strada promettente verso la superintelligenza, con il vantaggio di ridurre i costi della supervisione umana. Sebbene siano stati compiuti notevoli progressi negli ambiti verificabili, l’autoevoluzione negli ambiti non verificabili resta meno esplorata. Proponiamo Judge co-adaptation from Zero data (J-Zero), un framework unificato di autoevoluzione Challenger--Solver--Judge che consente ai modelli di migliorarsi in entrambi gli ambiti. Il Challenger e il Solver si evolvono insieme attraverso un’interazione antagonistica: il Challenger genera compiti sempre più difficili, mentre il Solver impara a produrre risposte di qualità sempre maggiore. Parallelamente, il Judge si coadatta usando coppie di risposte il cui ordine di preferenza è noto in anticipo in base al modo in cui ciascuna risposta è stata prodotta: la risposta del Solver è preferita a quella del Challenger, e la risposta del Solver ottenuta scomponendo e ricombinando è preferita alla sua risposta prodotta in un unico passaggio. L’ordine non deriva quindi dai punteggi assegnati dal Judge stesso. J-Zero supera i metodi di riferimento in media di 4,2 punti negli ambiti verificabili e di 8,0 punti in quelli non verificabili, e continua a migliorare per almeno dieci iterazioni, mentre le prestazioni dei metodi di riferimento peggiorano dopo due. Un’ulteriore analisi individua nel coadattamento del Judge il fattore chiave di questo miglioramento duraturo.