PocketTSLM: un modello linguistico per serie temporali con soft prompt eseguito sul dispositivo per il ragionamento su smartphone nel rispetto della privacy

Abstract degli autori

Gli smartphone e i dispositivi indossabili di uso comune raccolgono sempre più dati fisiologici in serie temporali, ma la maggior parte dei sistemi mobili tratta questi flussi come riepiloghi o testo, anziché come evidenze temporali. Questa rappresentazione è poco adatta ai sistemi per la salute personale che devono recuperare, instradare o riassumere le evidenze dei sensori preservandone la struttura temporale. I modelli linguistici per serie temporali ospitati nel cloud aggirano i limiti degli smartphone, ma trasferiscono ripetutamente dati fisiologici sensibili fuori dal dispositivo e aggiungono latenza e costi di calcolo per ogni richiesta. Le alternative per dispositivi mobili che aggregano i dati delle serie temporali in caratteristiche statistiche o serializzano i campioni grezzi come testo comprimono la struttura temporale oppure esauriscono i limiti di contesto e memoria dei piccoli modelli eseguiti sul dispositivo. Presentiamo PocketTSLM, una versione per dispositivi mobili di OpenTSLM SoftPrompt, la variante con soft prompt del modello linguistico per serie temporali OpenTSLM. PocketTSLM funziona interamente su uno smartphone di uso comune, inserendo finestre di serie temporali codificate sotto forma di embedding anziché trasformare le serie temporali in token testuali. Un protocollo di parità numerica verifica che la versione in Swift e un’implementazione di riferimento in Python basata su MLX, il framework di machine learning di Apple, producano sequenze identiche di token con decodifica greedy. Anche le risposte coincidono con quelle dell’implementazione di riferimento in PyTorch, sebbene la formulazione delle motivazioni possa differire. Un benchmark eseguito sul dispositivo confronta il costo in termini di contesto del percorso con soft prompt con quello di una soluzione di riferimento che serializza i dati come testo, usando lo stesso modello di base. Nel formato del nostro benchmark, il soft prompting usa circa 12 volte meno token per le serie temporali e riduce il costo della fase di prefill del prompt. PocketTSLM elabora clip elettroencefalografiche di 30 secondi di Sleep-EDF per classificare le fasi del sonno e una clip elettrocardiografica a 12 derivazioni di 1.000 campioni (10 s) da ECG-QA. In confronto, le soluzioni di riferimento basate sulla serializzazione testuale superano i limiti di contesto o di memoria dello smartphone con finestre di serie temporali più lunghe. Tutta l’inferenza avviene interamente sul dispositivo, senza trasmettere dati sanitari durante l’inferenza.