The Pulse
Forcebench: gli agenti di coding guadagnano da 2 a 4 punti nei compiti Salesforce
Forcebench ha testato tre modelli open-weight eseguiti localmente su 60 compiti di coding Salesforce e ha rilevato che i flussi di lavoro con agenti aumentavano i tassi di superamento di 2–4 punti percentuali, senza che emergesse una differ
AI.info Team · Scritto con l’IA ·
Tre modelli hanno guadagnato al massimo quattro punti
Il passaggio di tre modelli open-weight a un flusso di lavoro con un agente di coding ha aumentato i loro punteggi di appena 2–4 punti percentuali su una serie di 60 compiti di coding Salesforce, secondo uno studio di Forcebench. Nessuno dei miglioramenti ha prodotto una differenza chiara nei confronti appaiati dello studio. Il risultato offre una verifica circoscritta della capacità dell’accesso ai file, dell’esecuzione di comandi e dei turni di lavoro ripetuti di un agente di migliorare le prestazioni di coding quando il modello riceve già il compito e i file pertinenti.
Forcebench ha confrontato una risposta unica con esecuzioni tramite OpenCode 2.0.21, usando DeepSeek V4.1 Flash, Gemma 4 26B-A4B e Qwen3.8 27B. I modelli sono stati eseguiti localmente sull’hardware di Forcebench e per ogni compito sono stati usati gli stessi criteri di valutazione e un budget di output di 32.768 token. I punteggi misuravano il pass@1: se la prima risposta risolveva il compito, senza ulteriori tentativi.
DeepSeek ha ottenuto il 60% con una risposta unica e il 62% con l’agente. Gemma è passata dal 23% al 26%, mentre Qwen è salita dal 14% al 18%. Gli intervalli di confidenza dello studio lasciano un notevole margine per effetti che il test non è riuscito a rilevare: Forcebench afferma che i dati non consentono di escludere variazioni fino a 13 punti nel confronto con l’agente.
L’agente non poteva eseguire test su un’organizzazione Salesforce
L’esperimento non ha dato a OpenCode accesso a un’organizzazione Salesforce né agli strumenti Salesforce. L’agente poteva leggere e modificare i file dei compiti ed eseguire comandi shell, ma non poteva distribuire il codice, eseguire test Apex o interrogare i dati Salesforce. Questa distinzione limita la conclusione: il test misura il lavoro di un agente sui file, non un flusso di lavoro integrato in grado di verificare le modifiche in un ambiente attivo.
Forcebench afferma che i compiti fornivano requisiti, file e formato della risposta atteso in un unico messaggio. In questa configurazione, il ciclo aggiuntivo dell’agente — provare, controllare e correggere — aveva poco da verificare oltre al proprio lavoro. Lo studio ha inoltre testato un solo agente e tre modelli eseguiti localmente, non modelli accessibili tramite API ospitate né altri prodotti di coding basati su agenti.
Le skill Salesforce venivano caricate di rado
Forcebench ha testato anche 16 skill Salesforce relative ad ambiti quali Apex, Lightning Web Components, Flow, SOQL, insiemi di autorizzazioni e riferimenti API. L’agente poteva vedere i nomi e le descrizioni delle skill e poi scegliere se caricarle. Lo ha fatto di rado: Gemma ha usato una skill in 1 risposta su 132, Qwen in 20 su 132 e DeepSeek in 15 dei suoi 60 compiti.
Quando le skill venivano fornite automaticamente per i compiti a cui erano pertinenti, i risultati variavano a seconda del modello. Il punteggio di DeepSeek è sceso di 21 punti rispetto all’esecuzione con l’agente senza skill, mentre quello di Gemma è salito di 16 punti; quello di Qwen è aumentato di 3 punti, una differenza che lo studio non ha ritenuto chiara. I corrispondenti intervalli al 95% erano da −37 a −4 punti per DeepSeek, da +3 a +29 per Gemma e da −6 a +13 per Qwen.
Questi risultati sulle skill provengono da un confronto più ristretto, condotto su 24 compiti in sei suite relative a Salesforce. Gemma e Qwen hanno risposto ciascuno quattro volte a ogni compito per ciascuna condizione, mentre DeepSeek ha risposto una volta per compito. Forcebench avverte che soltanto due dei nove confronti riportati nella pagina risultavano chiari presi singolarmente, quindi alcuni effetti apparenti potrebbero essere dovuti al caso; i risultati non dimostrano che le skill Salesforce, in generale, danneggino o aiutino gli agenti di coding.
Più turni hanno richiesto anche più tempo e più input
Le esecuzioni con l’agente hanno usato più token di output e richiesto più tempo di una risposta unica, anche se Forcebench afferma che i tempi non sono direttamente confrontabili perché le esecuzioni con risposta unica e quelle con l’agente si sono svolte in condizioni diverse. Con l’agente, DeepSeek ha impiegato in media 661 secondi per compito senza skill e 761 secondi con le skill; Gemma rispettivamente 75 e 85 secondi, e Qwen 86 e 93 secondi.
Le descrizioni delle skill hanno aggiunto testo di input a ogni richiesta e DeepSeek ha elaborato con esse circa il doppio dei token di input rispetto alle esecuzioni senza. Alcune sessioni si sono concluse senza una risposta perché il modello ha esaurito il budget di output del primo turno ragionando prima di leggere un file. La prossima verifica concreta è capire se questi andamenti cambino quando gli agenti possono distribuire il codice, eseguire test e interrogare un’organizzazione Salesforce reale: il flusso di lavoro che la configurazione di questo studio non poteva valutare.