Che cosa autorizza a concludere una valutazione? Un censimento della riproduzione delle affermazioni in Inspect Evals, vincolato a un commit

Abstract degli autori

I benchmark possono essere eseguiti senza che sia chiaro quali conclusioni i loro risultati autorizzino. Congeliamo una vasta raccolta di valutazioni e tentiamo di riprodurne le affermazioni storiche. La maggior parte delle unità si ferma perché le evidenze necessarie alla riproduzione non sono vincolate. Dove la riproduzione è possibile, affermazioni diverse restano stabili a diversi livelli di risoluzione. Rendiamo esplicito ed eseguibile questo passaggio inferenziale, che altrimenti rimane implicito.