CARTBench: valutazione basata su rubriche dei consigli d’acquisto per richieste complesse e ambigue con cronologie

Abstract degli autori

Gli assistenti per gli acquisti basati su modelli linguistici di grandi dimensioni (LLM) raccomandano ormai prodotti nel corso di conversazioni a più turni. Una valutazione affidabile deve però fare i conti con la scarsità di dati e la difficoltà di standardizzare i criteri. Per affrontare questi ostacoli, presentiamo CARTBench, per CART (Complex and Ambiguous Requests with Timelines). Per ovviare alla scarsità di dati, raccogliamo casi basati su esigenze di acquisto reali in 17 settori del commercio al dettaglio, abbinando dialoghi con marcature temporali a 1.603 schede prodotto. Per superare la difficoltà di standardizzare i criteri, sviluppiamo rubriche specifiche per ciascun caso, guidate dagli Ideal Response Principles, ricavati da risposte eccellenti selezionate manualmente tra quelle associate a ordini completati con successo. Questi principi guidano anche la nostra strategia strutturata di raccomandazione, il Principle-Guided CART Prompting. Il benchmark sperimentale contiene 1.328 criteri annotati da esperti, suddivisi nelle categorie Core, Excellence e Safety. Per rispondere alla domanda CART, valutiamo 7 modelli API commerciali di punta, tra cui GPT-6.1-Sol e Claude-Opus-5, e modelli open-weight con 35B+ parametri. Nella prima valutazione dell’intera suite condotta con rubriche fissate, 3 modelli su 10 superano il 90% nella categoria Core, mentre nessuno supera il 45% in Excellence. Individuiamo quindi un divario tra comprensione ed esecuzione, tra il comportamento richiesto e consigli d’acquisto di alta qualità. Per esaminare questi limiti, analizziamo gli errori ricorrenti relativi alle evidenze sui prodotti e alle esigenze irrisolte, legati al mutare dei requisiti e a incognite decisive. Codice e dati sono disponibili all’indirizzo https://github.com/Da1yuqin/CARTBench.