Meccanismi di fiducia per l’IA generativa offline all’edge: un quadro dei regimi di connettività e uno studio empirico su Raspberry Pi 5

Abstract degli autori

L’IA generativa e i modelli linguistici di grandi dimensioni (LLM) si stanno diffondendo nell’Internet delle cose, ma la maggior parte delle implementazioni presuppone una connessione al cloud, mentre in molti contesti IoT la connettività è intermittente, limitata o assente. Proponiamo un quadro dei regimi di connettività (C0-C4), una tassonomia dei meccanismi di fiducia applicabili durante l’inferenza e pacchetti di conoscenza firmati e versionati come canale di aggiornamento per i regimi senza connettività. Li valutiamo su un Raspberry Pi 5 che esegue una generazione aumentata dal recupero di informazioni interamente in locale, in isolamento dalla rete, usando tre dimensioni del modello Qwen2.5, tre dimensioni del contesto e 300 domande di SQuAD 2.0. Un filtro basato sul punteggio di recupero, calibrato empiricamente, rileva le lacune di conoscenza quasi perfettamente (AUROC 0,97), ma rileva con scarsa efficacia le domande pertinenti all’argomento e prive di risposta (0,68). Un validatore deterministico dell’output trasforma gli output malformati in astensioni esplicite, senza alcuna perdita osservata di risposte corrette, mentre il verificatore basato su NLI che abbiamo testato aggiunge poco; per il modello 7B, il 96% delle risposte sostanziali a domande etichettate come prive di risposta corrisponde a porzioni di testo normalizzate dei passaggi recuperati. Un modello 3B raggiunge lo stesso tasso di inclusione della risposta di riferimento di un modello 7B con meno della metà della latenza e del consumo energetico stimato, sebbene il modello 7B superi molto più spesso la soglia di token-F1 di 0,5; con cinque passaggi recuperati, la percentuale di risposte corrette scende dal 75% al 52% rispetto a tre passaggi. La verifica di un pacchetto firmato richiede circa 4,5 ms, contro circa 29 min per creare sul dispositivo gli embedding dei suoi passaggi; i soli controlli di firma e hash lasciano passare sei dei nove attacchi agli aggiornamenti testati che la verifica a più livelli respinge. Tuttavia, un pacchetto avvelenato con una firma valida supera tutti i controlli sui pacchetti: su 30 domande a cui in precedenza era stata data una risposta corretta, le risposte corrette scendono a zero e 14 ricevono la risposta iniettata. Nessuno dei meccanismi che abbiamo valutato accerta la veridicità delle informazioni usate come prova. Rendiamo disponibili codice e dati.