The Pulse
Google Research ha valutato Agile Deliberation per le categorie soggettive di immagini
Google Research ha valutato Agile Deliberation in 18 sessioni dal vivo di 1,5 ore ciascuna. Il framework guida gli utenti in un processo di deliberazione interattivo, dalla definizione delle sottocategorie alla risoluzione dei casi limite,
AI.info Team · Scritto con l’IA · verificato ·
Google Research ha valutato Agile Deliberation in 18 sessioni dal vivo, ciascuna della durata di 1,5 ore. Il framework aiuta le persone a definire categorie soggettive di immagini esaminando esempi al limite e modificando le regole su cui si basa un classificatore. I ricercatori hanno riscontrato che Agile Deliberation ha ridotto drasticamente la fatica e l’ansia degli utenti, sostituendo il prompt engineering manuale con un feedback diretto sulle immagini al limite. Il risultato sono modelli di IA più coerenti e performanti, che superano le baseline standard.
Agile Deliberation trasforma un’idea vaga in un insieme di istruzioni estremamente precise
Agile Deliberation è progettato per categorie di immagini i cui confini dipendono da opinioni personali, dal contesto culturale o da politiche operative in evoluzione. Tra gli esempi citati da Google Research figurano il cibo sano, le opere d’arte fonte di ispirazione e la moderazione dei contenuti. Le persone possono partire da un’idea intuitiva di una categoria senza conoscerne tutte le eccezioni, mentre i processi di etichettatura convenzionali le costringono a fornire etichette rigide fin dall’inizio.
Il framework divide il lavoro in due fasi: definizione dell’ambito del concetto e iterazione sul concetto. Nella prima fase, gli utenti suddividono una categoria ampia in sottocategorie positive ed esclusioni esplicite. Per un classificatore di cibi sani, gli esempi comprendono categorie positive come insalate, piatti a base di cereali e proteine magre, accanto a esclusioni come alimenti trasformati o ingredienti crudi e non preparati.
Nella fase di iterazione, i modelli visione-linguaggio cercano attivamente e portano all’attenzione immagini semanticamente al limite, che mettono alla prova le definizioni attuali. Un frullato di frutta, per esempio, può indurre un utente a decidere se considerarlo una bevanda sana perché contiene frutta cruda oppure un alimento trasformato da escludere per l’elevato contenuto di zuccheri. Il feedback dell’utente confluisce poi in un ciclo automatico di ottimizzazione del prompt, che modifica i confini della classificazione in parallelo con il perfezionamento delle regole.
Le sessioni dal vivo hanno valutato due ambiti complessi e altamente soggettivi
Il post del 4 novembre è firmato da Otilia Stretcu, ricercatrice, e Leijie Wang, studentessa ricercatrice, di Google Research. I ricercatori hanno testato il framework in due ambiti soggettivi: Healthy Food e Pay-to-Play. Il secondo riguarda una sfida reale di moderazione dei contenuti che richiede la capacità di cogliere sfumature da esperti e un contesto specifico: identificare immagini clickbait nell’intrattenimento o nei videogiochi online che promettono ricompense finanziarie o digitali in modo ingannevole.
I partecipanti hanno provato Agile Deliberation insieme a tre approcci: classificatori zero-shot, un collaboratore per la modellazione e la deliberazione manuale. I classificatori zero-shot si basano su un prompt iniziale senza offrire agli utenti la possibilità di esaminare i casi limite e adattare la definizione. Il collaboratore per la modellazione scompone automaticamente un concetto, ma non permette agli utenti di guidarne o correggerne la logica; la deliberazione manuale chiede agli utenti di esaminare i dati in fogli di calcolo, indovinare query di ricerca per trovare anomalie e riscrivere a mano i prompt grezzi.
I partecipanti esperti hanno riferito che il sistema si è dimostrato uno strumento diagnostico efficace
I ricercatori hanno riscontrato che i partecipanti che hanno utilizzato la deliberazione strutturata hanno mostrato nel tempo una coerenza nell’etichettatura significativamente maggiore e che i loro classificatori hanno superato nettamente tutte le baseline standard. I miglioramenti delle prestazioni sono stati più marcati sulle immagini soggettive difficili, per le quali le ipotesi generiche e predefinite dell’IA possono divergere dall’intento esplicito e articolato di un utente. I partecipanti esperti hanno inoltre riferito che gli esempi al limite li hanno aiutati a individuare punti ciechi nelle loro definizioni iniziali.
Gli utenti hanno sperimentato una marcata fatica cognitiva nel tentativo di prevedere termini di ricerca che potessero far emergere casi limite, oltre a una persistente ansia che modificare manualmente un prompt testuale per correggere un errore potesse involontariamente peggiorare le prestazioni su altre parti del classificatore già corrette. Rispetto al prompt engineering manuale, i partecipanti che hanno usato Agile Deliberation hanno riferito riduzioni statisticamente significative dello sforzo richiesto e dello stress, insieme a un minore carico mentale e a una maggiore percezione di successo e facilità d’uso.
Google Research ha reso il codice open source e fornisce una demo interattiva
Google Research afferma di aver reso open source su GitHub il codice e gli algoritmi sottostanti. Google Research fornisce una demo interattiva su Colab o Jupyter basata sull’esempio Healthy Food, che gli utenti possono adattare ad altri ambiti in cui hanno competenze specifiche o criteri personali. I ricercatori scrivono che lo studio è stato reso possibile da una stretta collaborazione tra Google Research e Google Ads.