The Pulse
Epoch AI passa a un modello bayesiano per il suo indice delle capacità, con stime dell’incertezza meglio fondate
Epoch AI ha aggiornato la modellizzazione alla base del suo Epoch Capabilities Index, adottando un modello bayesiano. Il modello fornisce stime dell’incertezza meglio fondate e permette a Epoch AI di calcolare la probabilità che un modello
AI.info Team · Scritto con l’IA · verificato ·
Epoch AI ha aggiornato la modellizzazione alla base del suo Epoch Capabilities Index. Il modello bayesiano produce distribuzioni di probabilità per i punteggi ECI dei modelli, che Epoch utilizza per ricavare le stime dell’incertezza direttamente dall’adattamento del modello e valutare la probabilità che un modello sia più capace di un altro.
Come l’ECI trasforma i punteggi dei benchmark in stime delle capacità
L’Epoch Capabilities Index, o ECI, utilizza la Item Response Theory, un quadro teorico sviluppato originariamente per le prove di valutazione scolastica che consente di confrontare gli studenti anche quando hanno sostenuto esami diversi, di difficoltà variabile. Epoch adatta questo quadro ai benchmark di IA, trattando il punteggio di un modello come la quota prevista di domande a cui risponde correttamente. L’ECI utilizza solo benchmark con punteggi compresi tra zero e 100%.
Epoch modella la difficoltà e la pendenza di ciascun benchmark, che determina la rapidità con cui i punteggi cambiano all’aumentare delle capacità dei modelli. Parte dal presupposto che le prestazioni di un modello in ogni benchmark dipendano da un’unica dimensione di capacità e, prima dell’adattamento, riscala i punteggi in modo che le risposte date a caso corrispondano a zero e il punteggio massimo raggiungibile a uno. I punteggi inferiori a quelli ottenibili per caso sono fissati a zero, mentre quelli superiori al massimo sono fissati a uno.
Troppi pochi punteggi per modello per giustificare il bootstrapping
La precedente metodologia frequentista adattava l’ECI individuando i valori dei parametri che minimizzavano l’errore quadratico tra il punteggio previsto e i punteggi osservati nei benchmark. Epoch stimava l’incertezza con 500 campioni bootstrap e riportava intervalli di confidenza al 90%, ricampionando con reinserimento i risultati di ciascun modello nei benchmark prima di adattare nuovamente il modello. Il modello mediano aveva dieci punteggi di benchmark, mentre alcuni modelli ne avevano appena quattro.
Con così pochi punteggi per modello, il bootstrapping modifica considerevolmente l’ECI di un modello: un ricampionamento esclude in media circa un terzo dei suoi punteggi e ne conta altri più di una volta. Il nuovo modello bayesiano estrae invece campioni dalla distribuzione a posteriori usando il metodo Monte Carlo a catene di Markov. Ogni campione rappresenta un insieme plausibile di valori per la capacità di ciascun modello e per la difficoltà, la pendenza e il rumore di ciascun benchmark; considerati insieme, i campioni approssimano una distribuzione di probabilità per l’ECI di ogni modello.
La verosimiglianza beta mantiene la probabilità tra zero e uno
Il modello bayesiano sostituisce l’ipotesi di rumore costante del metodo precedente con una funzione di verosimiglianza beta. Una funzione di verosimiglianza normale può assegnare probabilità a punteggi inferiori a zero o superiori a uno, mentre la distribuzione beta mantiene tutta la probabilità tra zero e uno. Il rumore del modello beta si riduce quando i punteggi previsti si avvicinano a uno dei due estremi.
Ogni benchmark ha un proprio parametro di rumore, che consente al modello di tenere conto delle differenze nel grado di aderenza dei risultati osservati alle previsioni. Per esempio, un modello per cui è previsto un punteggio del 50% ottiene generalmente un risultato compreso tra il 46% e il 54% su METR Time Horizons, espresso come punteggio percentuale sulla suite di compiti. Su VPCT, il risultato è generalmente compreso tra il 32% e il 68%.
Fissare la scala con l’intero insieme dei benchmark
Dopo aver adattato il modello su una scala grezza interna, Epoch converte ogni campione alla scala ECI con una trasformazione lineare che fissa Claude 3.5 Sonnet a 130 e GPT-5 a 150. Questi punti di riferimento consentono a Epoch di confrontare i risultati nel tempo; i punti di riferimento stessi non presentano incertezza. Gli intervalli di credibilità al 90% vanno dal quinto al 95° percentile della distribuzione stimata di ciascun modello.
Epoch usa distribuzioni a priori uniformi per la capacità dei modelli e la difficoltà dei benchmark, insieme a distribuzioni a priori gerarchiche poco restrittive per le pendenze e il rumore dei benchmark. Le distribuzioni a priori per la capacità e la difficoltà vanno da −50 a 50 sulla scala grezza; con l’attuale adattamento, questo intervallo corrisponde a valori ECI da −390 a +670. I modelli nel dataset si collocano tra circa 45 e 169.