Co-Design Bench: Valutazione multimodale della programmazione collaborativa per modelli agentici

Abstract degli autori

Valutare la co-progettazione tra esseri umani e IA richiede di verificare se gli agenti di programmazione sono in grado di tradurre le richieste multimodali di utenti reali in revisioni funzionanti delle applicazioni. Presentiamo Co-Design Bench, un benchmark senza output di riferimento composto da 273 attività, selezionate da 37.463 richieste deduplicate provenienti da 26.314 sessioni di programmazione reali degli utenti. I suoi due filoni, Modifica multimodale (ME) e Modifica dei repository (RE), comprendono modifiche localizzate con input opzionali di immagini, audio, video o documenti e revisioni coordinate dei repository. Le attività coprono tre dimensioni di capacità: comprensione ancorata, trasformazione dell’interfaccia utente e implementazione funzionale. A ogni attività sono associate richieste normalizzate, applicazioni eseguibili prima delle modifiche e 2.331 criteri di accettazione nascosti, redatti da esperti. Il nostro protocollo di valutazione e confutazione assegna un punteggio ai criteri usando evidenze tratte dal codice sorgente e dal browser, mette alla prova i giudizi positivi con un verificatore LLM separato e controlla le affermazioni visive e relative alle interazioni senza ricorrere a codice di riferimento o schermate di destinazione. Con un harness agentico condiviso, il più efficace dei dieci endpoint dei modelli soddisfa in media il 69,9% dei criteri per attività, ma porta a termine pienamente solo il 26,4% delle attività. Tutti e dieci gli endpoint ottengono un completamento dei criteri inferiore nelle modifiche ai repository che comprendono tre o quattro tipi di cambiamento rispetto a quelle che ne comprendono uno o due. Co-Design Bench offre un banco di prova per studiare, nell’esecuzione agentica di revisioni di applicazioni richieste da utenti reali, il divario tra il soddisfacimento parziale dei requisiti e il completamento dell’attività.