Nuovo o no? PatEx-Gym: ricerca agentica dello stato della tecnica per valutare la novità nell’esame dei brevetti

Abstract degli autori

L’esame dei brevetti è un compito complesso del mondo reale: gli agenti devono individuare le poche fonti pertinenti sullo stato della tecnica, affinare iterativamente le query, esaminare le prove tecniche e produrre valutazioni della novità documentate nelle comunicazioni d’esame (Office Actions, OAs), in ambiti scientifici e tecnici eterogenei. I benchmark esistenti, però, si concentrano in gran parte su insiemi di candidati statici e limitati, lasciando poco esplorato l’intero processo di ricerca, ragionamento e valutazione. Presentiamo PatEx-Gym, il primo framework per sviluppare e valutare agenti per l’esame dei brevetti, che integra tre componenti. Primo, PatEx-Bench offre 1K compiti d’esame realistici, due corpora di grandi dimensioni per il reperimento di documenti, contenenti oltre 1M brevetti e 52K articoli scientifici, e un ambiente di esecuzione che supporta la ricerca iterativa, la consultazione dei documenti, il ragionamento e la generazione delle OAs. Secondo, introduciamo PASS, un framework per la sintesi di traiettorie di ricerca agentica dello stato della tecnica che non richiede annotazioni. In particolare, sfrutta le consultazioni dei documenti come segnali impliciti di pertinenza e punti di riferimento per l’acquisizione di prove, così da modellare il comportamento delle query all’interno di ciascun turno, l’evoluzione della ricerca tra i turni e la qualità delle prove e degli esiti a livello di traiettoria, producendo PatEx-SynData. Terzo, addestriamo PatEx-Agent su scala 4B mediante fine-tuning supervisionato sulle traiettorie selezionate, stabilendo una baseline leggera. Un’ampia serie di esperimenti mostra che la sola accuratezza della decisione finale non rispecchia pienamente la qualità dell’esame, mentre individuare lo stato della tecnica resta difficile anche per i modelli di frontiera più avanzati. PatEx-Agent ottiene prestazioni competitive rispetto ad agenti generalisti di dimensioni nettamente maggiori. Questi risultati mostrano che l’addestramento su PatEx-SynData consente a un modello compatto 4B di fungere da baseline competitiva per la ricerca dello stato della tecnica e l’esame dei brevetti. Consideriamo l’esame dei brevetti un banco di prova impegnativo per la ricerca agentica e gli agenti di ricerca approfondita.