CLIFT: autoverifica conforme per l’addestramento degli agenti web e lo scaling in fase di test

Abstract degli autori

Gli agenti web open source sono ormai abbastanza capaci da svolgere compiti realistici nel browser, ma il loro addestramento con l’apprendimento per rinforzo dipende ancora da una supervisione debole: l’esito binario del compito fornisce un segnale troppo scarso per attribuire il merito delle singole azioni, mentre ricorrere a ogni passaggio a giudici basati su modelli linguistici di frontiera è troppo costoso e non si può presumere che tali giudici siano disponibili al momento dell’impiego. Presentiamo CLIFT, un metodo di addestramento e di scaling in fase di test basato sull’autoverifica conforme. Durante l’addestramento, l’agente risponde a domande di verifica in linguaggio naturale sui propri rollout; un Compositional Conformal Certifier conserva solo i segnali delle domande le cui evidenze condizionate all’URL concordano con un giudice usato durante l’addestramento, assegna pesi di fiducia con segno tramite un lift che tiene conto della polarità e integra il punteggio del verificatore nelle ricompense per ciascun passaggio senza mai ridurre il valore di riferimento stabilito dal giudice. In fase di test, la stessa raccolta di domande certificate viene mantenuta invariata e riutilizzata come evidenza strutturata per la Conformal Trajectory Selection (CTS): l’agente genera un rollout greedy e uno o più nuovi tentativi diversificati, l’autoverificatore riassume la traccia degli URL di ciascuno e una regola conservativa basata sul voto di maggioranza decide se sostituire la soluzione attualmente selezionata, senza ricorrere a giudici esterni. Questo unico meccanismo funziona in tre contesti. Su WebArena Infinity, CLIFT raggiunge prestazioni allo stato dell’arte tra gli agenti web open source. Su VisualWebArena, una raccolta addestrata con il modello aperto viene trasferita a GPT-5.5 in fase di test e raggiunge prestazioni allo stato dell’arte con l’infrastruttura canonica di valutazione. Su Online Mind2Web, senza addestrare un agente sul benchmark, la traduzione della raccolta di domande certificate migliora un agente che opera sul web in tempo reale nella valutazione zero-shot. Nel complesso, questi risultati indicano che l’autoverifica conforme può trasformare il costoso feedback di un giudice in un segnale riutilizzabile per l’addestramento e in un segnale per lo scaling in fase di test che non richiede un giudice.