The Pulse
OpenAI: Pando ha distribuito 57 TB di dati Git in un’ora
OpenAI afferma che Pando, il suo backend Git, ha distribuito oltre 57 terabyte di pack Git in un’ora e quasi un petabyte di dati al giorno. Il sistema gestisce ora lo sviluppo nel monorepo di OpenAI, dove permette a ingegneri e agenti Codex
AI.info Team · Scritto con l’IA · verificato ·
Pando ha distribuito 57 TB di pack Git in un’ora
OpenAI afferma che il suo backend Pando ha distribuito oltre 57 terabyte di pack Git in una sola ora, con oltre il 99% di quei byte provenienti dalla cache su disco locale. Secondo un articolo tecnico pubblicato il 2 novembre, il sistema distribuisce quasi un petabyte di dati Git al giorno e gestisce ora tutto lo sviluppo nel monorepo dell’azienda.
OpenAI ha creato Pando per mantenere i flussi di lavoro Git esistenti, mentre i suoi ingegneri e gli agenti Codex creano e trasferiscono più codice in parallelo. L’azienda afferma che Pando ha ridotto la latenza mediana dei push di quasi l’80% e migliorato l’affidabilità dei merge. La descrizione pubblica presenta Pando come un sistema interno; OpenAI afferma di star valutando modi per condividere la tecnologia con gli utenti, ma non indica alcun piano di rilascio.
Codex ha aumentato la pressione sul monorepo di OpenAI
Secondo l’articolo, i sistemi di controllo del codice sorgente già in uso nell’azienda hanno iniziato a mostrare difficoltà verso la fine del 2025. L’aumento del lavoro concorrente comportava più branch, push, merge, fetch e clone, con diverse modifiche di uno stesso ingegnere talvolta pronte contemporaneamente per l’integrazione continua. Un singolo push poteva indurre diversi job a eseguire il fetch dello stesso commit.
OpenAI afferma che l’affidabilità dei merge è talvolta scesa sotto il 90%, mentre il vecchio sistema faticava a gestire push e fetch lenti. Il team ha scelto di sostituire il backend anziché cambiare il modo in cui gli sviluppatori usano Git. «Era chiaro che dovevamo rinnovare il nostro sistema di controllo del codice sorgente per adattarlo al livello di lavoro concorrente reso possibile da Codex», scrivono Aaron Friel, Taylor Blau e Ted Nyman, membri dello staff tecnico di OpenAI. Aaron Friel, Taylor Blau e Ted Nyman, OpenAI
I branch indipendenti possono essere aggiornati in parallelo
Pando coordina gli aggiornamenti branch per branch, permettendo ai push su branch non collegati di procedere senza attendere un aggiornamento che coinvolga l’intero repository. Memorizza i packfile Git in arrivo come blob immutabili e registra le versioni dei branch e le loro dipendenze in un archivio di metadati. Quando i client eseguono un fetch, Pando seleziona i pack archiviati che contengono la cronologia di cui hanno bisogno, invece di generare un packfile separato per ogni client che legge.
Questa progettazione comporta un compromesso in termini di coerenza. Un client che legge più branch può vederli in momenti diversi; Pando non garantisce una singola istantanea sincronizzata di tutti i riferimenti del repository durante un clone o un fetch. Gli aggiornamenti di un singolo branch rimangono serializzati, ma chi legge non può presumere che letture di branch separati riflettano uno stesso momento.
Il riutilizzo dei pack e le cache regionali velocizzano i fetch
Pando si affida alla funzionalità packfile-uri di Git per consentire ai client di scaricare separatamente i pack archiviati. OpenAI afferma che le sue cache regionali hanno registrato tassi di successo superiori al 99% nella distribuzione dei pack e che macchine virtuali cloud standard sono riuscite a saturare collegamenti di rete da 10 gigabit al secondo durante le operazioni di clone e fetch.
La compattazione in background combina pack più piccoli in coperture più grandi, riducendo il numero di file che i client devono recuperare e aiutando il server a pianificare i fetch man mano che i repository crescono. OpenAI afferma che il suo monorepo usa coperture di packfile fino al livello L4. Questa progettazione mantiene disponibili pack di più livelli per servire fetch diversi, anziché scartare le versioni precedenti dei pack dopo la compattazione.
OpenAI ha creato Pando in 10 settimane
Secondo l’articolo, il progetto è passato dall’avvio alla produzione in 10 settimane e ha iniziato a gestire il traffico di produzione nell’aprile 2026. Un ingegnere ne ha progettato il nucleo, team di agenti lo hanno implementato e un piccolo gruppo di ingegneri lo ha messo in produzione. OpenAI ha scritto il backend in Rust e lo ha testato con una suite di conformità Git e simulazioni deterministiche volte a individuare race condition e regressioni.
L’azienda afferma che gli agenti hanno usato GPT-6 Astra per scrivere formalizzazioni in Lean e TLA+ che hanno contribuito a individuare bug e dimostrare proprietà del sistema. OpenAI ha anche contribuito a monte con miglioramenti ai download dei pack di Git e ai relativi strumenti. Per ora, il limite più chiaro è pratico: Pando gestisce il monorepo di OpenAI, mentre l’azienda afferma di star ancora valutando come condividere la tecnologia sottostante.