The Pulse
Toptal lancia ExpertCrowd e un benchmark di ingegneria del software con 100 compiti
Toptal ha annunciato ExpertCrowd insieme a un benchmark di ingegneria del software composto da 100 compiti tratti da 87 progetti open source e relativi a 11 linguaggi di programmazione. I risultati del benchmark mostrano prestazioni diverse
AI.info Team · Scritto con l’IA ·
ExpertCrowd aveva già generato oltre 5 milioni di dollari di ricavi ricorrenti prima che Toptal annunciasse la piattaforma il 13 ottobre 2026. Secondo l’azienda, il servizio mette in contatto gli sviluppatori di IA con esperti umani specializzati per l’addestramento dei modelli, la generazione di dati, l’annotazione e la valutazione. Toptal ha inoltre pubblicato ExpertCrowd-SWE, un benchmark per agenti di programmazione composto da 100 compiti relativi a 87 progetti open source e 11 linguaggi di programmazione.
Una rete di specialisti alla base della piattaforma
Secondo Toptal, ExpertCrowd attinge a una rete di oltre 30.000 esperti di settore in più di 140 paesi. L’azienda indica che, tra questi, oltre 2.000 sono specialisti di IA e big data, 12.000 sono professionisti con titoli di studio avanzati e 1.000 sono specialisti di IA con un dottorato. La piattaforma supporta l’annotazione multimodale, flussi di lavoro personalizzabili e il monitoraggio dei progetti in tempo reale, mentre un sistema interno di selezione abbina gli esperti ai progetti.
L’azienda afferma di aver sviluppato questo sistema di selezione utilizzando 15 anni di dati proprietari sulla ricerca, la valutazione e l’abbinamento dei professionisti. Toptal descrive il proprio gruppo di ricerca sull’IA come composto anche da più di una dozzina di persone con dottorato e ricercatori provenienti da istituzioni tra cui Harvard, EPFL e l’Università di Liegi. Il comunicato stampa cita Scale AI, Sterling Labs e Vetto tra le aziende che, secondo Toptal, avevano collaborato con ExpertCrowd prima del lancio.
100 compiti software, testati cinque volte ciascuno
ExpertCrowd-SWE chiede agli agenti di IA di risolvere problemi software in basi di codice che non hanno mai visto. Gli ingegneri della rete di Toptal hanno scritto i compiti e le griglie di valutazione; l’azienda afferma che i suoi ricercatori di IA hanno esaminato la metodologia e i risultati. Ogni modello ha affrontato ciascun compito cinque volte, usando gli stessi strumenti e con un limite di 1.000 passaggi per tentativo, per un totale di 3.495 esecuzioni valide.
La pagina del benchmark riporta un risultato del 67,3% per Claude Opus 5.5, del 63,7% per GPT-6 Astra e del 46,5% per Claude Fable 5.1. Gemini 3.8 Flash ha ottenuto il 40,0%; Qwen 3.8 Max, DeepSeek V4.1 Flash e Grok 4.6 hanno ottenuto risultati compresi tra il 32,2% e il 33,5%. Secondo Toptal, la differenza tra i due modelli in testa non era statisticamente significativa.
Questi punteggi richiedono una precisazione: l’azienda afferma di aver selezionato i 100 compiti finali da un insieme più ampio in base alla difficoltà che avevano presentato per sei dei modelli. Gemini è stato escluso da questa selezione perché, per alcuni compiti, non disponeva di una serie completa di esecuzioni valide. I risultati descrivono quindi le prestazioni su un insieme di compiti volutamente impegnativi, non su un campione casuale del lavoro quotidiano di sviluppo software.
Gli insuccessi contano più di un singolo punteggio
I risultati del benchmark per singolo compito mostrano perché una percentuale complessiva può nascondere dei punti deboli. In un compito riguardante lavori annullati o interrotti nella libreria Go Asynq, Opus 5.5 e Grok 4.6 non hanno ottenuto alcun punto nelle rispettive esecuzioni, mentre DeepSeek V4.1 Flash ha raggiunto una media del 75,6%. Toptal riferisce inoltre che nessun compito è stato risolto completamente da tutti e sette i modelli.
«Il fatto che i risultati del nostro benchmark SWE mettano in luce, nei modelli di punta come Opus 5.5 e Fable 5.1, più carenze rispetto a qualsiasi altro benchmark pubblicato dimostra la nostra capacità di far progredire l’IA di frontiera», ha dichiarato Taso Du Val, fondatore e CEO di Toptal.
Il benchmark rende pubblici 24 compiti e ne mantiene riservati 76, secondo la pagina di ricerca dell’azienda. Questo consente di esaminare alcuni risultati, conservando al tempo stesso un insieme di compiti meno esposto alla contaminazione dei dati di addestramento.
ExpertCrowd punta ad andare oltre la programmazione
Secondo Toptal, ExpertCrowd è pensato per aiutare i team a usare i risultati dei benchmark per intervenire sui punti deboli con dati di addestramento creati da esperti o compiti di apprendimento per rinforzo. L’azienda afferma che i clienti possono riaddestrare i modelli autonomamente oppure ricorrere a una collaborazione gestita. Aggiunge che il suo prossimo benchmark si concentrerà sulla consulenza manageriale, con compiti che riguarderanno documenti, dati finanziari e raccomandazioni per i quali potrebbe non esistere un’unica risposta corretta.
Il lancio abbina un servizio commerciale a un benchmark i cui punteggi, secondo Toptal, rivelano le lacune degli attuali agenti di programmazione. Il dataset iniziale reso pubblico offre una visione limitata di quel test: 24 compiti possono essere riprodotti ed esaminati, mentre i restanti 76 non vengono resi pubblici.