Vai al contenuto
AI.info

The Pulse

Pathway addestra BDH, ispirato al cervello, su cluster AWS H200

Il sistema di ragionamento BDH-CQ di Pathway ha raggiunto il 29,2% pass@2 su ARC-AGI-1 a un costo di 0,0007 dollari per compito, secondo l’azienda. AWS spiega come la società abbia usato SageMaker HyperPod, GPU H200 ed Elastic Fabric Adapte

Pathway addestra BDH, ispirato al cervello, su cluster AWS H200

AI.info Team · Scritto con l’IA · verificato ·

Pathway pone una domanda diretta alle architetture transformer che dominano l’IA moderna: un sistema di ragionamento deve generare lunghe catene di testo per ragionare su un problema? Secondo l’azienda polacca, no. Dragon Hatchling, o BDH, ispirato al cervello, esegue un ragionamento iterativo all’interno di uno stato latente, mentre AWS afferma che SageMaker HyperPod ha fornito l’infrastruttura distribuita necessaria per addestrare e testare l’approccio su larga scala.

Le affermazioni sono accompagnate dal risultato di un benchmark specifico. AWS afferma che il sistema BDH-CQ di Pathway ha raggiunto il 29,2% pass@2 su ARC-AGI-1 a un costo stimato di 0,0007 dollari per compito, con il risultato misurato ad agosto 2026. Il dato proviene da un caso cliente pubblicato da AWS, non da una valutazione indipendente. Il suo significato più immediato non è quindi che BDH abbia soppiantato i transformer, ma che un’architettura alternativa viene testata su grandi cluster di GPU e associata a una cifra concreta per i costi.

L’argomento di Pathway contro la chain-of-thought: lo stato latente

I sistemi basati su transformer espongono di solito il ragionamento come una sequenza di token generati. Ogni passaggio intermedio consuma contesto, aggiunge latenza e aumenta il costo dell’inferenza. BDH-CQ segue una strada diversa: aggiorna uno stato ricorrente interno mentre elabora gli esempi e decodifica le risposte candidate senza produrre una lunga traccia verbale del ragionamento.

AWS descrive il modello BDH sottostante come un grafo di unità simili a neuroni, collegate attraverso interazioni sparse e locali. Lo stato viene mantenuto in connessioni simili a sinapsi, consentendo al modello di adattarsi durante l’inferenza senza aggiornare i pesi in fase di test. La progettazione mira anche a evitare che la lunghezza di un processo di ragionamento sia legata a una finestra di contesto fissa.

«L’IA di oggi paga un costo elevato in token per il ragionamento, ma quel costo è imposto dall’architettura, non da una qualche legge dell’intelligenza», afferma Zuzanna Stamirowska, CEO e cofondatrice di Pathway, nel post di AWS. «Un modello da 150 milioni di parametri, costruito sull’architettura BDH di Pathway, ragiona ricorrentemente nello spazio latente e stabilisce un nuovo stato dell’arte in termini di efficienza dei costi su ARC-AGI-1».

Il paper tecnico di Pathway del 2025 descrive BDH come un’architettura a spazio di stato costruita a partire da particelle neuronali che interagiscono localmente. Il paper riporta risultati ottenuti con modelli da 10 milioni a 1 miliardo di parametri, sostenendo che BDH può rivaleggiare con i transformer in stile GPT-2 nei compiti linguistici e di traduzione, usando lo stesso numero di parametri e gli stessi dati di addestramento. Presenta anche una versione orientata alle GPU chiamata BDH-GPU.

L’hardware H200 trasforma l’architettura in un test di scalabilità

Pathway ha sviluppato BDH con Amazon SageMaker HyperPod, l’ambiente gestito di AWS per l’addestramento e l’inferenza distribuiti su grandi cluster di acceleratori. L’azienda ha utilizzato istanze Amazon EC2 p5en.48xlarge dotate di GPU NVIDIA H200. Ogni istanza offre prestazioni di rete fino a 3.200 Gbps.

Le istanze erano collegate tramite Amazon Elastic Fabric Adapter, che funziona con NVIDIA CUDA e NVIDIA Collective Communications Library per trasferire dati, pesi del modello e attivazioni tra le GPU. Pathway ha inoltre eseguito il carico di lavoro su un Amazon EC2 UltraCluster, riducendo la distanza di rete tra gli acceleratori e la latenza delle comunicazioni.

La scelta dell’infrastruttura è importante perché BDH non è soltanto un piccolo esperimento di laboratorio basato su un formato di modello insolito. AWS presenta l’implementazione su HyperPod come un test per verificare se un’architettura non basata su transformer possa utilizzare la stessa infrastruttura distribuita di GPU che supporta l’addestramento dei grandi modelli linguistici. Secondo l’azienda, BDH si integra con PyTorch, consentendo a Pathway di utilizzare strumenti di addestramento familiari pur modificando il calcolo interno del modello.

Il monitoraggio diventa parte dell’esperimento sull’architettura

Pathway ha affiancato a HyperPod Amazon Managed Service for Prometheus e Amazon Managed Grafana, secondo AWS. L’insieme degli strumenti di monitoraggio ha rilevato l’utilizzo delle GPU, il comportamento della memoria e le comunicazioni tra i nodi durante l’addestramento distribuito.

Per un team che modifica la struttura di base di un modello, queste misurazioni sono più che semplici dashboard operative. Aiutano a distinguere un problema dell’architettura da uno relativo alla pianificazione, alla rete o all’utilizzo degli acceleratori. Secondo AWS, la configurazione ha aiutato Pathway ad abbreviare i cicli di sviluppo, confrontare costi e prestazioni e riprodurre i risultati tra diverse esecuzioni di addestramento.

HyperPod offre anche la configurazione automatizzata dei cluster, ambienti software personalizzabili e un’infrastruttura progettata per carichi di lavoro distribuiti. AWS descrive il servizio come un modo per ridurre il lavoro sull’infrastruttura necessario ad addestrare i modelli di base, mentre l’uso di istanze H200 da parte di Pathway mostra il livello concreto di hardware impiegato nei suoi esperimenti.

ARC-AGI offre il test più rigoroso finora

ARC-AGI-1 chiede a un sistema di dedurre una regola visiva sconosciuta da una piccola serie di esempi di griglie prima e dopo la trasformazione e di applicarla a una nuova griglia. Il compito è progettato per valutare la capacità di generalizzare a partire da dimostrazioni limitate, anziché il semplice richiamo di informazioni da un ampio corpus di addestramento.

BDH-CQ usa l’in-context learning e il calcolo ripetuto su uno stato latente per esplorare possibili soluzioni. Secondo AWS, il modello può elaborare un numero arbitrario di dimostrazioni a un costo di memoria fisso, perché gli esempi aggiornano il suo stato interno invece di espandere una catena di token di ragionamento generati.

Il punteggio riportato del 29,2% pass@2 e il costo di 0,0007 dollari per compito collocano il sistema in un confronto tra costo e accuratezza, anziché sostenere una generica superiorità su ogni modello transformer. Secondo AWS, il risultato ha modificato la frontiera costo-accuratezza su ARC-AGI-1 ad agosto 2026. Il post non presenta una serie più ampia di risultati di benchmark indipendenti che dimostrino che BDH sia generalmente più capace dei principali sistemi transformer.

AWS vede un caso d’uso in produzione, Pathway scommette su una nuova famiglia di modelli

Nicolas Tarducci, responsabile dell’architettura delle soluzioni per le startup nell’area EMEA presso Amazon Web Services, presenta il lavoro tanto come una questione di infrastruttura e implementazione quanto come un risultato di ricerca.

«I clienti esplorano sempre più spesso come portare il ragionamento avanzato dalla sperimentazione alla produzione, dove prestazioni, efficienza e scalabilità sono tutte importanti. Il lavoro di Pathway nell’addestrare BDH-CQ su Amazon SageMaker HyperPod indica una strada promettente per implementare sistemi ad alte prestazioni su larga scala con una maggiore efficienza dei costi».

Nicolas Tarducci, responsabile dell’architettura delle soluzioni per le startup nell’area EMEA, Amazon Web Services

L’affermazione di Pathway dipende dal fatto che l’efficienza misurata regga a test più ampi: modelli più grandi, più compiti, hardware diversi e confronti con modelli transformer di riferimento scelti con cura per essere comparabili. L’azienda ha reso disponibili il paper tecnico e implementazioni di esempio attraverso i propri repository, dando ai ricercatori la possibilità di esaminare l’architettura anziché considerare il risultato del benchmark AWS come un annuncio di prodotto a sé stante.

Per ora, il risultato concreto è più circoscritto e più utile. Un modello BDH-CQ da 150 milioni di parametri, secondo AWS e Pathway, raggiunge il 29,2% pass@2 su ARC-AGI-1 a 0,0007 dollari per compito, mentre i suoi sviluppatori utilizzano cluster di GPU H200, rete EFA e SageMaker HyperPod per addestrare e monitorare il sistema.

Fonte

Notizie correlate

Esplora

Altri articoli