The Pulse
Inception v3 supera i modelli di frontiera in un test su 200 lesioni cutanee
Il dermatologo Magnus Lynch riferisce che una rete neurale convoluzionale Inception v3 sottoposta a fine-tuning ha classificato correttamente il 62% di 200 lesioni cutanee confermate da biopsia, contro il 42% di GPT-6 Astra e Claude Fable 5
AI.info Team · Scritto con l’IA · verificato ·
Il 25 ottobre, il dermatologo Magnus Lynch ha pubblicato un test comparativo in cui un classificatore di immagini Inception v3 sottoposto a fine-tuning ha identificato correttamente 125 delle 200 lesioni cutanee confermate da biopsia. GPT-6 Astra e Claude Fable 5.1 ne hanno identificato ciascuno circa il 42%: rispettivamente 84 e 85 casi. Secondo Lynch, la rete neurale convoluzionale, basata su un’architettura pubblicata per la prima volta da Google nel 2015, ha raggiunto il 62% dopo circa 20 minuti di fine-tuning. Ma il vantaggio nell’accuratezza complessiva non si traduce in una semplice graduatoria della sicurezza: alla soglia preimpostata, la rete avrebbe dato indicazione di dimissione per 18 dei 30 melanomi presenti nel test.
Un test diagnostico, non una sperimentazione clinica
Lynch ha tratto i casi da MILK10k, un dataset pubblico di lesioni fotografate sia da vicino in ambito clinico sia attraverso un dermatoscopio. Tutte le 200 lesioni avevano una conferma istopatologica e il set di test era diviso in 100 casi per cui la dimissione non era considerata sicura e 100 per cui lo era. Il primo gruppo comprendeva 30 melanomi, 25 carcinomi basocellulari, 25 carcinomi squamocellulari e 20 cheratosi attiniche; il secondo comprendeva 50 nevi e 50 cheratosi seborroiche.
Ciascun modello linguistico ha ricevuto entrambe le immagini e lo stesso prompt predefinito, che chiedeva la diagnosi più probabile tra sei opzioni, un livello di confidenza, una seconda scelta e una raccomandazione sulla dimissione. Lynch ha sottoposto a fine-tuning tutti gli strati di Inception v3 su 68.011 immagini cliniche e dermatoscopiche dell’ISIC Archive, usando una GPU H100. Afferma che le lesioni del test e le altre immagini delle stesse lesioni o degli stessi pazienti sono state escluse dall’addestramento e dalla validazione e non sono state usate per scegliere il modello o la sua soglia.
Tutte le lesioni del campione erano state sottoposte a biopsia, comprese quelle benigne. Lynch osserva che questa selezione rende i casi benigni più difficili di quelli ordinari: un neo rimosso per una biopsia aveva già destato preoccupazione in un medico. I risultati descrivono quindi questo particolare insieme di casi selezionati, non la varietà di lesioni osservate nell’assistenza ordinaria.
Il vantaggio nell’accuratezza nasconde un compromesso sulla sicurezza
Come prima diagnosi, Inception v3 ha identificato correttamente 13 dei 30 melanomi, contro otto per GPT-6 Astra e 11 per Claude Fable 5.1. Considerando tutte le diagnosi, ammettere una seconda scelta ha portato a 173 il numero di risposte corrette della rete, contro 134 e 138 per i modelli linguistici. La rete ha ottenuto risultati migliori nella maggior parte delle categorie, ma è rimasta indietro rispetto a entrambi i modelli sulle cheratosi attiniche e non ha riconosciuto un carcinoma basocellulare in più rispetto a GPT-6 Astra.
I dati sulle dimissioni complicano il risultato principale. Alla soglia usata da Lynch, la rete avrebbe trattenuto 77 delle 100 lesioni ritenute non dimissibili in sicurezza, ma avrebbe dato indicazione di dimissione per 18 melanomi; GPT-6 Astra ha trattenuto 97 lesioni non dimissibili in sicurezza e ha dato indicazione di dimissione per tre melanomi, mentre Claude Fable 5.1 ne ha trattenute 96 e ha dato indicazione di dimissione per quattro. Quando Lynch ha regolato il punto operativo della rete in modo da trattenere 98 o 99 lesioni non dimissibili in sicurezza, questa ha dato indicazione di dimissione per uno o due melanomi. Il confronto mostra perché la sola accuratezza diagnostica non può stabilire se un sistema sia sicuro da usare per il triage clinico.
«Una rete di dieci anni fa, sottoposta a fine-tuning per circa venti minuti, li ha superati entrambi nel riconoscimento dei tumori della pelle.»
Dott. Magnus Lynch, dermatologo consulente e chirurgo di Mohs al Guy’s Hospital
Lynch segnala i limiti e il proprio ruolo
Lynch definisce Inception v3 un modello di base, non un sistema all’avanguardia per i tumori della pelle. Afferma che il campione di 200 casi è troppo piccolo per stabilire con sicurezza una graduatoria tra risultati vicini, soprattutto per il melanoma, di cui il test comprendeva solo 30 casi; ciascun caso è stato sottoposto una sola volta ai modelli linguistici e le risposte possono variare tra un’esecuzione e l’altra. Poiché MILK10k è pubblico dal 2025, osserva inoltre che i modelli linguistici potrebbero aver visto le sue immagini durante l’addestramento, mentre la rete no.
L’autore afferma che i sistemi diagnostici più avanzati usano raccolte di immagini più ampie e architetture più recenti, e che i prodotti regolamentati basati su questi sistemi ottengono risultati migliori. Dichiara inoltre che Claude Code ha contribuito all’analisi e alle prime bozze; Claude Fable 5.1, uno dei due modelli testati, è un modello di Anthropic. Lynch ha pubblicato i prompt, le risposte dei modelli, i casi e il codice per l’attribuzione dei punteggi, e afferma che la rete può funzionare nel browser di un telefono senza caricare le immagini.
Il test sostiene una tesi circoscritta: su questo campione confermato da biopsia e in questo compito di classificazione a sei opzioni, un classificatore di immagini sottoposto a fine-tuning ha superato due modelli generalisti nell’accuratezza della prima diagnosi. I suoi stessi risultati sulle dimissioni mostrano perché quel punteggio non può sostituire le prove di sicurezza clinica.