Vai al contenuto
AI.info

The Pulse

Pathway addestra BDH, ispirato al cervello, su cluster H200 di AWS

Pathway afferma che il suo sistema di ragionamento BDH-CQ ha raggiunto il 29,2% di pass@2 su ARC-AGI-1, al costo di 0,0007 dollari per attività. AWS spiega come l’azienda abbia usato SageMaker HyperPod, GPU H200 ed Elastic Fabric Adapter pe

Pathway addestra BDH, ispirato al cervello, su cluster H200 di AWS

AI.info Team ·

Pathway pone una domanda diretta alle architetture transformer che dominano l’IA moderna: un sistema di ragionamento deve generare lunghe catene di testo per riflettere su un problema? L’azienda polacca dice di no. Il suo Dragon Hatchling, o BDH, ispirato al cervello, esegue ragionamenti iterativi all’interno di uno stato latente, mentre AWS afferma che SageMaker HyperPod ha fornito l’infrastruttura distribuita necessaria per addestrare e testare l’approccio su larga scala.

Le affermazioni sono accompagnate da un risultato specifico su un benchmark. AWS dichiara che il sistema BDH-CQ di Pathway ha raggiunto il 29,2% di pass@2 su ARC-AGI-1, a un costo stimato di 0,0007 dollari per attività, con risultati misurati ad agosto 2026. Il dato proviene da un caso di studio pubblicato da AWS, non da una valutazione indipendente: la sua importanza più immediata, quindi, non è che BDH abbia soppiantato i transformer, ma che un’architettura alternativa venga testata su grandi cluster di GPU e associata a un costo concreto.

L’argomento di Pathway sullo stato latente, in alternativa alla catena di pensiero

Di solito i sistemi basati su transformer rendono visibile il ragionamento sotto forma di una sequenza di token generati. Ogni passaggio intermedio occupa spazio nel contesto, aggiunge latenza e aumenta il costo dell’inferenza. BDH-CQ segue una strada diversa: aggiorna uno stato ricorrente interno mentre elabora gli esempi e decodifica le risposte candidate senza produrre una lunga traccia verbale del ragionamento.

AWS descrive il modello BDH sottostante come un grafo di unità simili a neuroni, collegate attraverso interazioni locali e sparse. Lo stato viene mantenuto in connessioni simili a sinapsi, consentendo al modello di adattarsi durante l’inferenza senza aggiornare i pesi al momento del test. Il progetto mira inoltre a evitare che la durata del processo di ragionamento sia vincolata a una finestra di contesto fissa.

«Oggi l’IA paga un costo elevato in token per ragionare, ma questo costo è imposto dall’architettura, non da una legge dell’intelligenza», afferma Zuzanna Stamirowska, CEO e cofondatrice di Pathway, nel post di AWS. «Un modello da 150 milioni di parametri, basato sull’architettura BDH di Pathway, ragiona in modo ricorrente nello spazio latente e stabilisce un nuovo stato dell’arte in termini di efficienza dei costi su ARC-AGI-1».

Il documento tecnico di Pathway del 2025 descrive BDH come un’architettura state-space composta da particelle neuronali che interagiscono localmente. Il documento riporta risultati ottenuti con modelli da 10 milioni a 1 miliardo di parametri e sostiene che BDH possa competere con i transformer in stile GPT-2 nelle attività di lingua e traduzione, a parità di numero di parametri e dati di addestramento. Presenta anche una versione orientata alle GPU, chiamata BDH-GPU.

Le GPU H200 trasformano l’architettura in una prova di scalabilità

Pathway ha sviluppato BDH con Amazon SageMaker HyperPod, l’ambiente gestito di AWS per l’addestramento e l’inferenza distribuiti su grandi cluster di acceleratori. L’azienda ha usato istanze Amazon EC2 p5en.48xlarge dotate di GPU NVIDIA H200. AWS afferma che ogni istanza offre prestazioni di rete fino a 3.200 Gbps.

Le istanze erano collegate tramite Amazon Elastic Fabric Adapter, che opera con NVIDIA CUDA e la NVIDIA Collective Communications Library per trasferire dati, pesi del modello e attivazioni tra le GPU. Pathway ha eseguito il carico di lavoro anche su un Amazon EC2 UltraCluster, riducendo la distanza di rete tra gli acceleratori e la latenza di comunicazione.

La scelta dell’infrastruttura è importante perché BDH non è soltanto un piccolo esperimento di laboratorio con un formato di modello insolito. AWS presenta l’implementazione su HyperPod come una prova per verificare se un’architettura non basata su transformer possa utilizzare gli stessi strumenti distribuiti su GPU che supportano l’addestramento dei modelli linguistici di grandi dimensioni. L’azienda afferma che BDH si integra con PyTorch, permettendo a Pathway di usare strumenti di addestramento familiari pur modificando i calcoli interni del modello.

Il monitoraggio diventa parte dell’esperimento sull’architettura

AWS afferma che Pathway ha abbinato HyperPod ad Amazon Managed Service for Prometheus e Amazon Managed Grafana. Durante l’addestramento distribuito, gli strumenti di monitoraggio hanno tenuto traccia dell’utilizzo delle GPU, del comportamento della memoria e della comunicazione tra i nodi.

Per un team che modifica la struttura fondamentale di un modello, queste misurazioni sono più che semplici pannelli di controllo operativi. Aiutano a distinguere un problema dell’architettura da uno di pianificazione, rete o utilizzo degli acceleratori. AWS afferma che questa configurazione ha aiutato Pathway ad abbreviare i cicli di sviluppo, confrontare costi e prestazioni e riprodurre i risultati tra diverse sessioni di addestramento.

HyperPod offre anche il provisioning automatico dei cluster, ambienti software personalizzabili e un’infrastruttura progettata per i carichi di lavoro distribuiti. AWS descrive il servizio come un modo per ridurre il lavoro infrastrutturale necessario ad addestrare i modelli di base, mentre l’uso di istanze H200 da parte di Pathway mostra il livello di hardware impiegato concretamente nei suoi esperimenti.

ARC-AGI è finora la prova più rigorosa

ARC-AGI-1 chiede a un sistema di dedurre una regola visiva sconosciuta da un piccolo insieme di esempi di griglie prima e dopo l’applicazione della regola, per poi applicarla a una nuova griglia. L’attività è pensata per testare la generalizzazione a partire da poche dimostrazioni, anziché il semplice richiamo di informazioni da un ampio corpus di addestramento.

BDH-CQ usa l’apprendimento in contesto e calcoli ripetuti su uno stato latente per esplorare possibili soluzioni. AWS afferma che il modello può elaborare un numero arbitrario di dimostrazioni con un costo di memoria fisso, perché gli esempi aggiornano il suo stato interno invece di allungare una catena di token di ragionamento generati.

Il punteggio dichiarato del 29,2% di pass@2 e il costo di 0,0007 dollari per attività collocano il sistema in un confronto tra costo e accuratezza, non in una rivendicazione generale di superiorità su tutti i modelli transformer. AWS afferma che, ad agosto 2026, il risultato ha spostato la frontiera del rapporto tra costo e accuratezza su ARC-AGI-1. Il post non presenta una serie più ampia di risultati indipendenti su benchmark che dimostrino che BDH sia in generale più capace dei principali sistemi transformer.

AWS intravede un caso d’uso in produzione, Pathway punta su una nuova famiglia di modelli

Nicolas Tarducci, responsabile dell’architettura delle soluzioni per le startup nell’area EMEA di Amazon Web Services, inquadra il lavoro come una questione di infrastruttura e implementazione, oltre che come un risultato di ricerca.

«I clienti stanno esplorando sempre più spesso come portare il ragionamento avanzato dalla fase di sperimentazione alla produzione, dove contano prestazioni, efficienza e scalabilità. Il lavoro di Pathway, che addestra BDH-CQ su Amazon SageMaker HyperPod, indica una strada promettente per implementare su larga scala sistemi dalle prestazioni elevate in modo più efficiente sul piano dei costi».

Nicolas Tarducci, responsabile dell’architettura delle soluzioni per le startup EMEA, Amazon Web Services

La tesi di Pathway dipende dal fatto che l’efficienza misurata regga a verifiche più ampie: modelli più grandi, più attività, hardware diversi e confronti con modelli transformer di riferimento appaiati con cura. L’azienda ha reso disponibili il documento tecnico e implementazioni di esempio nei propri repository, offrendo ai ricercatori la possibilità di esaminare l’architettura, anziché considerare il dato del benchmark di AWS come un annuncio di prodotto a sé stante.

Per ora, il risultato concreto è più circoscritto e utile. Un modello BDH-CQ da 150 milioni di parametri, secondo AWS e Pathway, raggiunge il 29,2% di pass@2 su ARC-AGI-1 al costo di 0,0007 dollari per attività, mentre i suoi sviluppatori usano cluster di GPU H200, la rete EFA e SageMaker HyperPod per addestrare e monitorare il sistema.

Fonte

Esplora

Altri articoli