Dare un dito al modello: una valutazione del conteggio nei modelli visivo-linguistici coerente con lo sviluppo infantile

Abstract degli autori

I modelli visivo-linguistici (VLM) contano esattamente gli insiemi piccoli, ma con quelli più grandi tendono a stimare: un comportamento che ricorda quello dei bambini prima che imparino a contare. I bambini superano questa difficoltà con azioni epistemiche: indicano ogni elemento mentre recitano i numeri, spostano da parte gli elementi già contati e suddividono la disposizione in gruppi. Diamo ai VLM le stesse possibilità sotto forma di strumenti per immagini privi di intelligenza visiva propria, in un ciclo agentico senza addestramento. La nostra tesi centrale riguarda la misurazione, non l’intervento: un modello che conta contrassegnando gli elementi lascia sull’immagine la traccia di una procedura sequenziale normalmente nascosta. I principi dello sviluppo del conteggio permettono di trasformare quei contrassegni in una verifica interpretabile del ragionamento visivo sequenziale: ogni contrassegno viene classificato, rispetto ai dati di riferimento a livello di singolo punto, come corrispondente a un elemento, duplicato, fantasma o omesso; la risposta viene confrontata con il numero dei contrassegni; e l’irrilevanza dell’ordine viene verificata imponendo due ordini di percorrenza opposti. Su 9 modelli, 682 immagini e 7 condizioni sperimentali, riscontriamo che (i) l’intervallo in cui il conteggio è esatto è una caratteristica specifica di ciascun modello e si estende per quasi due ordini di grandezza (R80 da 3 a 150 punti); (ii) come intervento, il dito perlopiù non funziona: i contrassegni aiutano 4 modelli su 9 nelle fotografie con pochi elementi, danneggiano quelli che indicano gli elementi in modo impreciso e raramente superano una procedura verbale o un elenco di punti compilato alla cieca; ciò che il ciclo offre è una traccia verificabile, non una maggiore accuratezza; (iii) come strumento di misurazione, invece, funziona: un test che altera i contrassegni mostra che i modelli che indicano gli elementi con precisione ricavano le risposte dai contrassegni, che la precisione nell’indicare gli elementi è associata ai modelli che ne traggono beneficio, che nelle scene dense gli errori sono dovuti a omissioni e che i modelli raramente rivedono la risposta dopo aver visto i propri contrassegni; e (iv) le capacità sono distinte: i modelli seguono un ordine di percorrenza indicato nelle istruzioni, ma spesso cambiano risposta quando l’ordine viene invertito, mentre il vantaggio che i bambini mostrano con le disposizioni regolari rispetto a quelle sparse compare solo con la procedura e persiste anche con reticoli che rendono inefficace la scorciatoia di moltiplicare righe per colonne.