SIRIS: gli LLM sanno riconoscere quando gli errori di simulazione contano nella ricerca sui sistemi guidata dall’IA?

Abstract degli autori

Gli agenti basati su LLM guidano sempre più spesso la ricerca sui sistemi e si affidano ai simulatori per valutare su larga scala i progetti candidati. I simulatori sono imperfetti per loro natura: i limiti dei loro modelli possono distorcere le previsioni senza però rendere errato il progetto raccomandato, oppure cambiare quale progetto dovrebbe essere selezionato. Presentiamo Siris per verificare se gli LLM sanno distinguere questi casi, valutando, in base alla loro comprensione dei sistemi, quando un limite invalida la raccomandazione del simulatore. Modificando un simulatore, Siris crea coppie di carichi di lavoro con gli stessi candidati, lo stesso limite e la stessa raccomandazione del simulatore. La modifica cambia le previsioni su entrambi i carichi di lavoro, ma un simulatore di riferimento avvalora la raccomandazione solo per uno dei due. Valutando tredici LLM all’avanguardia su problemi di progettazione del serving degli LLM, scopriamo che individuare un limite non garantisce una scelta corretta e che, a volte, persino i modelli più forti scartano raccomandazioni valide. L’autocorrezione tramite un turno di revisione aiuta questi modelli a ripristinare scelte valide, ma introduce nuovi errori in diversi altri modelli. Questi risultati suggeriscono di valutare la comprensione dei sistemi attraverso decisioni progettuali prese con simulatori imperfetti.