The Pulse
I 719 manoscritti di matematica di OpenAI suscitano timori tra i ricercatori
La raccolta di lavori matematici generati dall’IA, pubblicata da OpenAI il 6 ottobre, contiene ora 719 manoscritti raggruppati in 372 famiglie, dopo il ritiro di tre articoli. Hugo Duminil-Copin, vincitore della medaglia Fields, e altri mat
AI.info Team · Scritto con l’IA ·
OpenAI ha ritirato tre manoscritti dalla sua raccolta di matematica entro un giorno dalla pubblicazione, dopo che un errore di segno ha compromesso una dimostrazione e il lavoro contenuto in altri due articoli che ne dipendevano. Il repository dell’azienda elenca ora 719 manoscritti raggruppati in 372 famiglie di risultati, rispetto ai 722 presenti quando la raccolta è stata pubblicata il 6 ottobre. La correzione ha acuito una disputa che va oltre la validità delle singole affermazioni: i matematici contestano anche il modo in cui i risultati sono stati prodotti, presentati e attribuiti.
Hugo Duminil-Copin, matematico insignito della medaglia Fields nel 2022, ha detto che 16 problemi della raccolta riguardano direttamente le sue ricerche. «Hanno annientato il mio campo di ricerca», ha dichiarato durante una videoconferenza organizzata l’8 ottobre dalla Société Mathématique de France, secondo Le Monde.
Tre ritiri portano l’attenzione sulla verifica
Secondo la cronologia del repository di OpenAI, un errore di segno ha invalidato un’argomentazione in un manoscritto e la costruzione utilizzata da due articoli collegati. L’azienda ha ritirato tutti e tre il 7 ottobre. Ha inoltre registrato revisioni di altri 14 manoscritti, tra cui correzioni delle dimostrazioni e degli enunciati e chiarimenti sulle ipotesi e sulle dipendenze.
Il repository identifica la raccolta come lavoro prodotto da un modello interno di OpenAI e afferma che i risultati si trovano a diversi stadi di verifica. Secondo il catalogo attuale, 300 dei 719 risultati principali dispongono di formalizzazioni in Lean: versioni delle dimostrazioni scritte in un linguaggio formale e verificabili al computer. OpenAI afferma che aggiungerà le formalizzazioni man mano che le otterrà, avvertendo però che alcuni risultati che ne sono privi potrebbero presentare problemi.
Nell’annuncio del 6 ottobre, OpenAI afferma che ciascun risultato ha richiesto, in media, una capacità di calcolo equivalente a circa tre ore di tempo di ragionamento di ChatGPT Pro. L’azienda dice inoltre di aver valutato il modello su circa 4.000 problemi e di aver pubblicato sintesi del ragionamento del modello per 10 risultati. Questi dati descrivono la ricostruzione dell’azienda di come è stata generata la raccolta; non dimostrano che l’argomentazione di ogni manoscritto sia corretta.
I consulenti prendono le distanze da un avallo
Prima della pubblicazione della raccolta, l’Advisory Group on Mathematics and Artificial Intelligence aveva pubblicato raccomandazioni elaborate sulla base di oltre 600 risposte della comunità matematica. Il gruppo indipendente consigliava ai laboratori di IA di smettere di sottoporre problemi matematici avanzati a modelli proprietari. Chiedeva inoltre fonti citate con cura, spiegazioni chiare dei metodi e dei costi computazionali, dimostrazioni formali ove possibile e sostegno al lavoro umano necessario per comprendere risultati che nessun ricercatore ha ancora compreso pienamente.
Dopo che OpenAI ha pubblicato la raccolta, il gruppo ha precisato che il suo ruolo consultivo non doveva essere scambiato per un avallo o per una valutazione dell’impatto dei risultati. Ha descritto la pubblicazione come l’inizio, non la conclusione, del lavoro necessario per comprendere i risultati e integrarli nella matematica. «I matematici devono poter formulare le proprie domande, sviluppare i propri approcci ed esplorare direzioni che non sono state selezionate come esempi delle capacità di un sistema di IA», ha scritto il gruppo nella sua dichiarazione del 6 ottobre.
OpenAI ha dichiarato di aver consultato il gruppo e di stare integrando le sue raccomandazioni. La tensione nasce dal fatto che la raccolta proviene da un modello che OpenAI non aveva messo a disposizione dei ricercatori esterni, mentre il gruppo si era espressamente opposto all’uso di sistemi proprietari da parte dei laboratori che sviluppano modelli di frontiera per affrontare problemi matematici avanzati. I consulenti hanno lasciato alla comunità matematica il compito di valutare in che misura le loro raccomandazioni siano state seguite.
Duminil-Copin teme conseguenze per lo scambio aperto
Anche la mole della raccolta è fonte di preoccupazione. Le Monde riferisce che un gruppo di lavori collegato alle ricerche di Duminil-Copin comprendeva un programma di ricerca articolato in 13 articoli e che il matematico prevede di esaminare oltre 3.500 pagine di materiale generato pertinente al suo campo. Ha detto che leggere quelle dimostrazioni non aveva lo stesso «sapore» che leggere il lavoro di persone di cui conosceva il volto, ma ha sostenuto che i matematici potrebbero comunque interpretare, verificare e spiegare insieme i risultati.
La sua preoccupazione più forte riguarda ciò che i ricercatori potrebbero smettere di condividere. Duminil-Copin teme che le aziende possano usare le discussioni online per individuare questioni promettenti e impiegare sistemi di IA per affrontarle, lasciando ai ricercatori umani meno possibilità di vedersi riconosciuto il proprio lavoro. Ha detto a Le Monde che alcuni matematici avevano già deciso di limitare le proprie comunicazioni e che «tutta questa cultura dello scambio aperto viene distrutta».
Per ora, gli articoli restano disponibili per essere esaminati, mentre il repository di OpenAI registra i ritiri, le correzioni e lo stato delle dimostrazioni formalizzate. Il compito immediato è concreto: i matematici devono valutare una vasta mole di lavori che, secondo l’azienda, è stata prodotta dal suo modello, e al tempo stesso decidere quali condizioni di accesso, attribuzione e collaborazione si aspettano per le pubblicazioni future.