Un agente può individuare gli errori in un corpus web? Audit agentico di FineWeb2 in slovacco

Abstract degli autori

Le pipeline multilingue come FineWeb2 applicano la stessa procedura a un migliaio di lingue, senza prevedere le modalità di errore specifiche di ciascuna. Usiamo un LLM una sola volta, per individuare problemi nel corpus anziché per classificare: un agente che usa strumenti esplora il corpus tramite un’API di sola lettura con un budget limitato e traduce ogni problema individuato in un test eseguibile, che viene poi convalidato da una persona di madrelingua. Sulla porzione slovacca di FineWeb2, composta da 26,5 milioni di documenti, tre esecuzioni dal costo di \$2.21-\$2.84 ciascuna hanno individuato sette problemi riconducibili a quattro fenomeni. Il più esteso riguarda una fabbrica di contenuti generati automaticamente, composta da 1.408.437 documenti (5,32%) che hanno superato i filtri della pipeline; l’86,6% di questi supera persino soglie più restrittive. Le etichette assegnate in cieco confermano 6 dei 7 problemi individuati (tassi di difetti compresi tra 0,53 e 1,00, contro 0,08 in un campione di controllo casuale), ma non ne confermano uno. La suite di test risultante esamina l’intero corpus in 0,7 s di tempo effettivo senza GPU, contro \$12k-\$90k per ogni passaggio di classificazione con un LLM. Il miglior metodo di riferimento basato sul campionamento statico convalida più selettori di qualsiasi esecuzione dell’agente, a meno della metà del costo. L’agente fornisce la prevalenza esatta, una stima della precisione verificata su documenti campionati, una spiegazione del motivo per cui la pipeline non ha rilevato ciascun sottoinsieme e un test riutilizzabile. Rendiamo disponibili il framework, la suite di test per lo slovacco, i dati di convalida e le traiettorie dell’agente.