CaptchaArena: un dataset dettagliato e su larga scala per addestrare agenti che usano il computer a risolvere CAPTCHA interattivi

Abstract degli autori

I CAPTCHA interattivi restano una sfida per gli agenti che usano il computer, mentre i dataset esistenti devono trovare un compromesso tra copertura dei tipi di CAPTCHA, fedeltà delle interazioni e supervisione delle traiettorie. Per colmare queste lacune, presentiamo CaptchaArena, il primo dataset di addestramento su larga scala e ad alta granularità per la risoluzione di CAPTCHA interattivi. Contiene 50K puzzle di 20 tipi di CAPTCHA e 5 modalità di interazione, con ogni soluzione verificata mediante esecuzione. CaptchaArena fornisce 50K traiettorie di schermate e azioni, di cui 46K corredate da annotazioni del ragionamento passo per passo. Include inoltre annotazioni dettagliate di maschere a livello di pixel per i bersagli irregolari. Usando CaptchaArena, addestriamo CaptchaAgent, un’unica policy da 9B per tutti i 20 tipi di CAPTCHA, con un fine-tuning supervisionato seguito dall’apprendimento per rinforzo. Il verificatore dell’ambiente fornisce direttamente la ricompensa per l’apprendimento per rinforzo. Il fine-tuning supervisionato raggiunge 70,5 Pass@1 e l’apprendimento per rinforzo porta il risultato a 71,7, migliorando anche le prestazioni su due benchmark esterni. Questi risultati dimostrano il valore della supervisione dettagliata e su larga scala dell’uso del computer per addestrare agenti capaci di risolvere CAPTCHA interattivi. Rendiamo disponibili CaptchaArena e CaptchaAgent all’indirizzo https://github.com/X0X0X00/CaptchaArena.