Firmato ma pilotabile: misurare e colmare il divario di integrità tra testo e vettori nella generazione offline aumentata dal recupero

Abstract degli autori

La generazione offline aumentata dal recupero (RAG) sui dispositivi edge viene aggiornata tramite pacchetti di conoscenze firmati che contengono testo e vettori di embedding precalcolati. Una firma prova chi ha pubblicato un pacchetto, non che i suoi vettori codifichino il testo. Studiamo questo divario di integrità tra testo e vettori. Un verificatore che ricalcola i vettori e li accetta entro una tolleranza sul coseno concede all’attaccante che controlla i vettori una quota prevedibile di query: il tasso di dirottamento è pari alla distribuzione dei margini angolari di recupero alla tolleranza (la legge dei margini). I margini sono ridotti in cinque corpora e con due modelli di embedding, quindi una tolleranza idealizzata al livello del rumore in virgola mobile lascia esposto fino al 5,5% delle query (al massimo l’1,2% in ciascun corpus, una volta esclusi i documenti duplicati esatti); una soglia calibrata sulla nostra comparazione CPU INT8-FP32 di un piccolo modello di embedding (al quantile empirico dello 0,1% dei coseni corretti) lascia esposto il 98–100% delle query. Su un Raspberry Pi 5 con un modello linguistico locale, un simile attacco riduce le risposte corrette da 0,75 a 0,39. Anche gli audit di integrità degli archivi di vettori compressi non danno risultati migliori: su un indice di quantizzazione del prodotto FAISS relativo a 57.638 documenti, vettori manomessi che superano tutti l’audit fanno sì che il documento dell’attaccante si collochi al primo posto per il 25% dei target. Verificando invece i codici di quantizzazione, affidando al verificatore la risoluzione delle ambiguità e usando una banda di guardia calibrata e una canonicalizzazione, nei nostri campioni abbiamo accettato ogni vettore corretto su tre piattaforme e non abbiamo lasciato scelta all’editore. Mostriamo inoltre che le comuni pipeline di inferenza in virgola mobile e con INT8 dinamico non sono riproducibili bit per bit tra diverse dimensioni di batch o architetture, e riportiamo risultati negativi preregistrati su astensione, potatura del contesto e screening semantico. Rendiamo disponibili codice e dati.