MedPsy: modelli linguistici medici compatti all’avanguardia per un deployment efficiente su dispositivi edge

Abstract degli autori

I modelli linguistici medici promettono un supporto clinico di livello esperto, ma i più potenti LLM open source restano troppo grandi per il deployment privato su dispositivi edge, mentre i modelli medici compatti sono ancora nettamente indietro nei compiti sanitari che richiedono conoscenze approfondite e in quelli del mondo reale. I modelli di ragionamento che rientrano nei limiti di memoria dei dispositivi edge possono generare tracce di ragionamento lunghe, aumentando la decodifica sequenziale, la latenza end-to-end, il consumo energetico e la pressione sulla memoria della KV-cache. Presentiamo MedPsy, una famiglia di modelli linguistici medici solo testuali da 1,7B e 4B, progettati per il deployment su dispositivi edge e mirati a bilanciare accuratezza, generazione ed efficienza. Il nostro metodo combina una pipeline di dati medici sintetici basata su contenuti di biologia, medicina e salute, con risposte di tipo chain-of-thought prodotte da un modello LLM insegnante da 235B, specializzato in medicina; un curriculum di post-training in quattro fasi, composto da due fasi SFT seguite da due fasi RL con selezione dei campioni più difficili; e una valutazione del deployment su dispositivi edge che include diverse varianti di quantizzazione GGUF e inferenza su dispositivi reali, laptop e smartphone. Su sette benchmark medici a risposta chiusa, MedPsy-4B supera MedGemma-1.5-4B di 19,34 punti e raggiunge i risultati di MedGemma-27B pur essendo 6,75 volte più piccolo; MedPsy-1.7B supera MedGemma-1.5-4B di 11,42 punti, pur avendo meno della metà delle sue dimensioni. Su HealthBench-Hard, MedPsy-4B supera MedGemma-27B di 15,33 punti, mentre MedPsy-1.7B lo supera di 11,66 punti, pur essendo circa 16 volte più piccolo. Oltre a migliorare l’accuratezza, rispetto ai rispettivi backbone Qwen3 MedPsy riduce la lunghezza media delle risposte di 1,7 volte (1.7B) e 3,2 volte (4B), mentre la quantizzazione Q4_K_M mantiene il punteggio complessivo entro 1 punto da quello di BF16, con un ingombro su disco inferiore di circa il 69%. Nell’inferenza su dispositivi reali, le generazioni più brevi di MedPsy-4B si traducono, a parità di quantizzazione, in una latenza end-to-end mediana e un consumo energetico stimato per risposta inferiori del 75% rispetto al suo backbone Qwen3, mentre la RAM di picco resta sotto i 5 GB in tutte le configurazioni di laptop e smartphone testate.