Ragionare o recitare: specialisti complementari e un giudice LLM per il ragionamento sulle anomalie del traffico

Abstract degli autori

Le anomalie del traffico, come collisioni, infrazioni e pericoli improvvisi, richiedono ai sistemi di comprensione dei video più della semplice rilevazione: un sistema utilizzabile deve accertare che cosa sia successo, descrivere la scena e spiegarne la causa. Osserviamo che, nei modelli visione-linguaggio, queste capacità spingono in direzioni opposte: le domande a risposta chiusa premiano un ragionamento preciso e fondato sulle evidenze, mentre le risposte aperte vengono valutate in base alla somiglianza con un testo di riferimento, per cui riprodurre lo stile delle annotazioni conta quanto ragionare correttamente. Presentiamo Reason-or-Recite (RoR), un sistema con due specialisti per la categoria Traffic Anomaly Reasoning della 2026 AI City Challenge. RoR (1) rielabora le annotazioni chain-of-thought ufficiali in uno schema strutturato e ancorato alla sequenza temporale e sottopone a fine-tuning con LoRA un modello visione-linguaggio da 9B sulle tracce arricchite; (2) sottopone a fine-tuning un modello da 27B quantizzato a 4 bit sulle sole risposte, così che ne assimili lo stile delle annotazioni; e (3) sceglie tra le due risposte candidate per ciascuna domanda tramite un giudice LLM che non richiede addestramento. RoR si classifica primo nella classifica relativa allo stesso dominio dei dati di addestramento, con un punteggio medio di 0,6788.