The Pulse
Anthropic sviluppa FlashProve per verificare le risposte dei modelli di IA
Anthropic ha rilasciato FlashProve, un prototipo crittografico progettato per dimostrare che una risposta dell’IA proviene da uno specifico insieme di pesi del modello. I test su Llama 4 Maverick mostrano che la generazione delle prove è mo
AI.info Team · Scritto con l’IA · verificato ·
Anthropic afferma che attualmente gli utenti non possono verificare se una risposta dell’IA provenga dal modello che hanno selezionato. Il prototipo FlashProve è pensato per fornire questa garanzia, ma il benchmark di Anthropic indica che la generazione delle prove richiede, per GPU, circa 72 volte il tempo impiegato da vLLM per elaborare lo stesso batch. L’azienda ha pubblicato il lavoro il 2 novembre come risultato intermedio della ricerca, non come sistema finito.
Quando l’etichetta di un modello non è una prova
Un utente che riceve la risposta di un modello non ha modo di stabilire con certezza se un servizio di instradamento abbia sostituito di nascosto il modello con uno meno costoso o se un attaccante abbia alterato il flusso di token, scrive Anthropic. Anche i valutatori indipendenti devono sapere che il modello che testano prima e dopo il rilascio è quello effettivamente utilizzato per fornire il servizio. FlashProve è pensato per consentire a un fornitore di dimostrare che una risposta proviene da un determinato modello senza dare a chi effettua la verifica accesso ai suoi pesi.
Il sistema usa una dimostrazione succinta a conoscenza zero, o zkSNARK. Nella fase offline di FlashProve, il fornitore pubblica un breve impegno crittografico che identifica un preciso insieme di pesi del modello, mantenendoli nascosti. Per una risposta, il fornitore produce poi una prova legata a quell’impegno; chi effettua la verifica controlla che il modello associato all’impegno abbia prodotto i token dati per il prompt dato.
La prova di FlashProve ha un costo computazionale
Anthropic ha testato FlashProve su Llama 4 Maverick, un modello a miscela di esperti da 400 miliardi di parametri, usando pesi a 4 bit disponibili pubblicamente. Il modello usa circa 17 miliardi di parametri per token. Su un server con una GPU H100 e 24 core CPU, la generazione delle prove per un batch di 24 richieste ha richiesto circa 223 secondi, pari a 110 token al secondo; ogni prova occupava 18,78 MB.
Ogni richiesta copre una finestra di 1024 token e ogni prova verifica un token. Il client non ha bisogno di una GPU: per verificare il risultato basta scaricare l’impegno crittografico da 6,5 MB e una prova per ogni richiesta. La verifica di una prova ha richiesto 17 secondi su 24 thread CPU, oppure 21 secondi su un solo thread, inclusi i controlli sull’impegno.
Per confronto, Anthropic ha eseguito vLLM sulla versione FP8 dello stesso modello usando otto GPU H100. Per GPU, la generazione delle prove per il batch ha richiesto circa 72 volte più tempo rispetto all’elaborazione delle stesse 24 richieste con vLLM, con risultati compresi tra 66 e 77 volte nelle diverse esecuzioni; al carico più alto testato per vLLM, il divario era di circa 94 volte. La prova del prototipo è di dimensioni ridotte rispetto al calcolo del modello, ma generarla resta notevolmente più lento che eseguire l’inferenza senza prove.
La prova nasconde i pesi, non l’architettura
Anthropic afferma che la prova di FlashProve non rivela né i pesi del modello né i valori di calcolo intermedi, compreso quali esperti siano stati attivati a ogni livello. L’architettura del modello non è nascosta. La creazione di un impegno crittografico richiede circa 39 minuti ed è valido per circa 16 milioni di richieste, dopodiché il fornitore deve crearne uno nuovo.
La garanzia di sicurezza ha dei limiti. Anthropic afferma che una prova valida può stabilire che un modello ha eseguito l’inferenza, ma non che lo stesso hardware non fosse utilizzato anche per addestrare un modello. L’azienda descrive inoltre FlashProve come un approccio esclusivamente software, distinto dai sistemi basati su hardware affidabile; secondo Anthropic, i due approcci possono offrire garanzie diverse e complementari.
Anthropic pubblica codice e verifiche formali
Anthropic ha pubblicato codice eseguibile, una specifica del protocollo, un rapporto tecnico, dimostrazioni in Lean e uno strumento di visualizzazione per esaminare gli enunciati formali. Il codice, le dimostrazioni e la documentazione usano la licenza Apache 2.0. Il rilascio include un verificatore veloce in C++ e un verificatore la cui correttezza è dimostrata formalmente in Lean.
Gli autori presentano il progetto come un punto di partenza: «Questo articolo di ricerca intende condividere progressi intermedi, non un programma di ricerca completato». Invitano altri a esaminare e migliorare il lavoro, presentando al contempo le misurazioni come un progresso verso la possibilità di rendere utilizzabili nella pratica le prove crittografiche per l’inferenza dei modelli.