The Pulse
Meta: i test con l’IA hanno individuato 74 bug della privacy nel primo semestre 2026
Meta afferma che il suo sistema JiTTesting ha contribuito a individuare 74 gravi bug della privacy prima che il codice arrivasse in produzione nel primo semestre del 2026. La società riferisce un calo del 20% degli incidenti gravi legati al
AI.info Team · Scritto con l’IA · verificato ·
Meta afferma che i suoi test generati dall’IA hanno contribuito a individuare 74 gravi bug della privacy prima che il codice arrivasse in produzione nel primo semestre del 2026. Ma il sistema non considera ogni test fallito come un bug reale: i test generati possono segnalare cambiamenti innocui nel comportamento, quindi Meta ne filtra i risultati e chiede comunque agli ingegneri di valutare i casi sospetti.
In un post pubblicato il 29 ottobre, Meta afferma che gli incidenti gravi legati alla privacy sono diminuiti del 20% nello stesso periodo di sei mesi. La società attribuisce ai suoi Catching Just-in-Time Tests, o JiTTests, un ruolo chiave nella riduzione; il post non dimostra che sia stato il solo sistema a causare il calo.
74 bug della privacy individuati prima della produzione
I JiTTests creano test progettati per fallire su una modifica proposta al codice, o «diff», e avere esito positivo sulla versione precedente. Un fallimento può rivelare un cambiamento nel comportamento che sfugge ai test esistenti. A differenza dei test convenzionali che gli sviluppatori aggiungono per individuare future regressioni, questi test sono segnali temporanei: gli ingegneri devono decidere se il cambiamento rilevato sia un difetto o un risultato voluto.
Meta afferma che 589 ingegneri hanno interagito con il sistema, pari al 64% degli ingegneri contattati. Secondo la società, quegli ingegneri hanno segnalato un tasso del 60% di veri positivi tra i risultati su cui era possibile intervenire. Il post non indica il numero di risultati alla base di tale tasso, che non va quindi interpretato come un tasso di successo misurato in modo indipendente su tutti i test generati.
«I Catching JiTTests non sono più un prototipo di ricerca; fanno parte dell’infrastruttura di Meta e aiutano i nostri ingegneri a individuare più bug con meno carico di lavoro e una minore probabilità di falsi positivi», scrivono Sreeja Thummala, Sophie Zeng, Mark Harman, Weini Liu ed Eric Liu nel post di Meta Engineering.
Test progettati per fallire
Meta descrive due modi per generare i test. Un flusso di lavoro «consapevole dell’intento» usa la modifica al codice e il suo riepilogo per dedurre ciò che lo sviluppatore intendeva fare, quindi genera test sui potenziali punti di errore. Un flusso di lavoro basato su «diff sospetti» salta questa deduzione e tratta ogni modifica come se potesse essere difettosa, cercando test che mettano in luce differenze di comportamento.
Entrambi i flussi di lavoro analizzano le modifiche ad alto rischio presentate il giorno precedente, durante la notte e usando la capacità di calcolo inutilizzata. Meta combina controlli basati su regole con un insieme di modelli linguistici per classificare i probabili falsi allarmi prima di decidere se contattare un ingegnere. Il post della società afferma che i revisori umani stabiliscono i criteri e valutano i risultati in forma aggregata, anziché esaminare ogni test generato.
La verifica precedente e più circoscritta dello studio
Uno studio di ricercatori di Meta offre un resoconto più dettagliato di un’implementazione precedente. Su 22.126 test generati, gli autori hanno rilevato che i metodi che tengono conto delle modifiche al codice hanno prodotto circa quattro volte più potenziali bug individuati rispetto ai metodi convenzionali di test di rafforzamento e 20 volte più dei test falliti per coincidenza. In uno studio manuale su 600 diff con potenziali bug individuati, i valutatori basati su modelli linguistici hanno ridotto il carico di lavoro della revisione umana di circa il 70%.
Lo studio riporta anche un diverso campione di conferme da parte degli ingegneri: Meta ha contattato gli ingegneri in merito a 41 potenziali bug individuati, otto dei quali sono stati confermati come bug reali; quattro di questi avrebbero potuto causare gravi errori in produzione. Il tasso di conferma del 19,5% non è direttamente paragonabile al 60% riportato nel post più recente: lo studio descrive un insieme specifico di 41 casi per i quali sono stati contattati gli ingegneri, mentre il post non fornisce un denominatore per il tasso riportato successivamente.
Sono ancora gli ingegneri a decidere cosa conta
La distinzione è importante perché un test può fallire per ragioni non legate a un bug del prodotto, tra cui un programma di esecuzione dei test malfunzionante, un mock errato o un risultato atteso troppo dipendente dai dettagli di implementazione. Lo studio di Meta osserva che i test generati possono produrre falsi positivi e che per determinare se un cambiamento nel comportamento sia contrario a quello previsto serve un contesto di cui dispongono gli ingegneri.
I risultati riportati da Meta mostrano che il sistema opera come un livello di selezione, non come un meccanismo di approvazione automatizzata. Durante la notte esamina i diff ad alto rischio, filtra i potenziali errori individuati e sottopone casi selezionati agli ingegneri, che verificano se il comportamento fosse voluto.