The Pulse
Mistral e NVIDIA progettano benchmark per gli agenti di ingegneria
Mistral e NVIDIA svilupperanno benchmark pubblici e dataset aperti per l’IA applicata alla fisica e gli agenti di ingegneria. Le valutazioni previste metteranno alla prova l’uso degli strumenti, i flussi di lavoro ingegneristici in più fasi
AI.info Team · Scritto con l’IA · verificato ·
Mistral Large 4 ha circa 1.000 miliardi di parametri, ma nella nuova collaborazione tra Mistral e NVIDIA per l’ingegneria la misura più immediata è ciò che i futuri test chiederanno di fare agli agenti di IA. Le aziende affermano che svilupperanno benchmark pubblici e dataset aperti per i modelli per la fisica e gli agenti impiegati nell’ingegneria assistita da computer e nell’automazione della progettazione elettronica. Le valutazioni previste misureranno se gli agenti sanno usare strumenti ingegneristici, completare attività in più fasi e produrre risultati tecnicamente corretti, oltre al tempo richiesto da queste attività e alle risorse computazionali che consumano.
Test per il lavoro ingegneristico, non soltanto per le risposte
L’annuncio presenta un programma per sviluppare valutazioni, non una serie di risultati di benchmark già pubblicati. Non indica punteggi, numero di attività, dataset specifici né un calendario di pubblicazione. I test proposti offrirebbero a ricercatori e team industriali un metodo comune per confrontare i modelli e valutare flussi di lavoro automatizzati che vanno dalla progettazione assistita da computer alla simulazione.
Per gli agenti di ingegneria, questa portata è importante: una risposta plausibile, da sola, non dimostra che un sistema sappia usare software di progettazione, seguire una sequenza di passaggi tecnici e fornire un risultato corretto. Mistral e NVIDIA affermano che le loro valutazioni riguarderanno queste capacità nella CAE e nell’EDA, discipline impiegate anche nei settori aerospaziale, automobilistico e della progettazione di semiconduttori. Prevedono inoltre di misurare i tempi di esecuzione e i costi computazionali insieme alla correttezza dei risultati.
I modelli Mistral incontrano gli strumenti di simulazione di NVIDIA
Le aziende intendono combinare Mistral Large 4 e le pipeline di Mistral per la generazione dei dati e la modellazione fisica con gli strumenti di calcolo accelerato di NVIDIA. L’annuncio cita le librerie NVIDIA CUDA-X e Warp tra gli strumenti impiegati e afferma che i partner integreranno i modelli Mistral con le librerie NVIDIA Omniverse per la generazione di scene 3D accelerata da GPU e la creazione di asset SimReady. L’obiettivo dichiarato è collegare simulazione, sviluppo dei modelli e progettazione ingegneristica in flussi di lavoro a ciclo chiuso.
Neil Ashton, vicepresidente dell’ingegneria computazionale di Mistral, ha inquadrato l’iniziativa in termini di velocità della simulazione e standard di valutazione. «Per troppo tempo, il ritmo dell’ingegneria è stato dettato da quello della simulazione», ha dichiarato Ashton. Ha aggiunto che la collaborazione mira a fornire «benchmark aperti abbastanza rigorosi da convalidare gli agenti su attività reali di CAE ed EDA».
Una collaborazione con un modello più grande sullo sfondo
L’iniziativa ingegneristica amplia una collaborazione più vasta tra Mistral e NVIDIA, che comprende il precedente sviluppo congiunto di Mistral NeMo e il lavoro svolto attraverso la NVIDIA Nemotron Coalition. Mistral afferma che Large 4 è stato addestrato su 3.800 GPU NVIDIA Grace Blackwell in data center europei gestiti da Mistral; il modello ha circa 49 miliardi di parametri attivi. Secondo l’annuncio dell’azienda, il rilascio dei pesi del modello è previsto per la fine di ottobre.
Tim Costa, vicepresidente e direttore generale dell’ingegneria industriale e computazionale di NVIDIA, ha dichiarato che la collaborazione intende aiutare gli ingegneri a mettere alla prova idee finora troppo complesse o dispendiose in termini di tempo da esplorare. I benchmark pubblici potrebbero rendere più facile confrontare le prestazioni degli agenti, ma la loro utilità dipenderà dalle attività, dai dati e dai criteri di valutazione che le aziende pubblicheranno. Per ora, Mistral e NVIDIA hanno annunciato un piano per sviluppare questi test, non risultati che mostrino quanto bene si comportano i loro agenti.