The Pulse

Property Finder scopre che il 96,8% delle etichette usate per valutare l’IA proveniva dal vecchio modello

Property Finder ha scoperto che il 96,8% delle etichette nel set usato per valutare le immagini degli immobili proveniva dal modello di visione già in uso, falsando il confronto con le alternative. Dopo aver fatto annotare in modo indipende

AI.info Team · Scritto con l’IA · verificato · 2026-10-28

Il 27 ottobre, AWS e Property Finder hanno reso noto che il 96,8% delle etichette nel set usato dalla piattaforma immobiliare per valutare i modelli di visione proveniva dalle previsioni del modello che l’azienda stava valutando di sostituire. Il test favoriva quindi le risposte del modello già in uso, anche quando erano sbagliate, e poteva far apparire meno accurati i sistemi concorrenti solo perché fornivano risposte diverse. Property Finder ha scoperto il problema mentre valutava soluzioni meno costose per controllare le immagini degli annunci.

Il problema riguardava un sistema che elabora decine di migliaia di immagini immobiliari al giorno in Medio Oriente e Nord Africa. Il sistema valuta 11 attributi, tra cui il tipo di stanza, l’arredamento, le filigrane, la qualità delle foto e gli indicatori relativi alla costruzione. Secondo l’azienda, i suoi annunci contengono in media 15 immagini, ciascuna delle quali deve essere sottoposta a una valutazione della qualità prima della pubblicazione.

Le risposte di riferimento ripetevano gli errori del modello già in uso

Quando un set di valutazione usa come risposte di riferimento i risultati del modello esaminato, misura la concordanza con quel modello anziché la correttezza. AWS e Property Finder hanno scoperto che le etichette relative al testo delle filigrane consideravano corretti errori nei singoli caratteri, comprese lettere mancanti e nomi di marchi inventati. La precedente impostazione a etichetta singola imponeva inoltre di assegnare una sola categoria di stanza anche alle immagini che ne mostravano più di una.

Il restante 3,2% delle etichette era stato scritto da persone, ma nemmeno queste etichette erano sempre affidabili: alcune includevano categorie non previste dalle specifiche originali, come «Ufficio». Gli autori descrivono direttamente il problema più ampio: «Ma questo crea una valutazione circolare in cui ogni alternativa viene giudicata in base a quanto il suo comportamento somiglia a quello del modello già in uso, non in base alla sua effettiva correttezza». Khaled Thabit, Meriem Boughrara, Mina Metias, Mohamed Desouky, Mohamed Noordeen Alaudeen e Vadim Selyutin

Nuove etichette hanno cambiato il confronto tra i modelli

Un esperto di strategia e analisi del settore immobiliare ha annotato in modo indipendente 356 immagini tratte da annunci degli Emirati Arabi Uniti, senza avere accesso alle previsioni del vecchio modello. Le prime 256 immagini hanno costituito il set di sviluppo usato per mettere a punto i prompt; altre 100 sono state annotate dopo quelle prove per il confronto finale. AWS afferma che un set separato di 230 immagini provenienti dall’Egitto è servito per una verifica regionale, ma l’articolo non ne riporta i risultati.

Il team è passato inoltre a un sistema multietichetta per classificare stanze e foto, così che un’immagine in cui si vede una camera da letto attraverso una porta potesse ricevere entrambe le etichette relative alle stanze. Ha perfezionato i prompt dalla versione zero alla versione 27, ricorrendo nelle fasi successive all’analisi degli errori e all’ottimizzazione automatizzata. Sul set di valutazione di 356 immagini, Llama 4 Maverick 17B Instruct ha ottenuto 0,80 nel Micro F1, contro 0,56 del modello proprietario già in uso, che utilizzava un prompt diverso, anch’esso messo a punto.

Un punteggio più alto, ma con un’importante riserva sul test

Il confronto non è un test del tutto indipendente: il set di valutazione di 356 immagini comprende le 256 immagini di sviluppo, e i prompt di entrambi i modelli sono stati messi a punto usando quegli esempi. AWS definisce quindi ottimistici i punteggi. Il modello già in uso ha ricevuto un solo ciclo di messa a punto, mentre Llama ne ha ricevuti diversi, oltre a regole aggiuntive di Property Finder per i casi limite: la messa a punto dei prompt dei due modelli ha quindi richiesto un impegno diverso.

Property Finder ha scelto Llama per l’uso in produzione e, secondo l’articolo, il modello ha eguagliato o superato quello già in uso su tutti gli 11 attributi; i due modelli hanno ottenuto lo stesso risultato nella classificazione multietichetta delle foto. I punteggi di Llama per la corrispondenza esatta variavano a seconda del compito: 100% nel rilevamento della rotazione, 94% nel rilevamento delle filigrane e 55% nell’estrazione del testo delle filigrane. Il risultato più debole sul testo mostra perché un unico punteggio complessivo può nascondere gli ambiti in cui un sistema incontra ancora difficoltà.

La stima dei costi non è un benchmark a parità di condizioni

AWS stima il costo di Llama a 2,35 dollari per 1.000 immagini, l’86% in meno rispetto alla configurazione precedente. Queste cifre sono stime relative alla regione US East (Ohio) a dicembre 2025, basate su 9.000 token in input e 200 token in output per immagine; AWS afferma che il prompt usato in produzione richiede meno token in input, quindi la stima rappresenta un limite superiore. La riduzione dei costi è calcolata rispetto alla configurazione precedente con il prompt nella versione 21, mentre il confronto sull’accuratezza ha usato la versione 22: i due confronti non hanno quindi una base di riferimento identica.

Property Finder afferma che il suo monitoraggio ha rilevato una latenza di inferenza inferiore dal 40% al 60% con la nuova pipeline. La conclusione pratica è più circoscritta dell’affermazione che un modello sia semplicemente migliore: i confronti tra modelli possono ereditare gli errori di quello già in uso quando la maggior parte delle etichette proviene dalle sue stesse previsioni. In questo caso, la valutazione è cambiata solo dopo che l’azienda ha creato un set annotato in modo indipendente; per un confronto più rigoroso, i punteggi riportati richiedono comunque un set di test separato, non utilizzato nella messa a punto.