Agenti AI per il codice: serve l'uomo in quasi tre casi su quattro
Il nuovo benchmark Co-Design Bench rivela che persino i migliori modelli di programmazione falliscono o lasciano dettagli incompleti nel 74% dei compiti reali.
In breve
- Co-Design Bench è un nuovo benchmark sviluppato da Alibaba e atenei asiatici basato su richieste di sviluppo reali e complesse.
- Il modello più efficace, GPT-6 Astra, completa interamente solo il 26,4% dei compiti assegnati, pur soddisfacendo in media il 70% dei requisiti.
- Tutti i modelli faticano quando devono gestire insieme layout, design, interazione e contenuti nella stessa richiesta.
- L'ambiente di esecuzione (harness) influisce notevolmente sulle prestazioni: Qwen3.8-27B oscilla tra il 56% e il 75% a seconda del programma usato per interagire col codice.
- Un maggiore consumo di token non garantisce risultati migliori: GLM-5.2 ha impiegato sei volte più token di GPT-6 Astra ottenendo punteggi inferiori.
Un team di ricercatori di Alibaba e di varie università asiatiche ha presentato Co-Design Bench, un nuovo test progettato per misurare le reali capacità degli agenti software basati sull'intelligenza artificiale. I risultati dello studio mostrano un divario netto rispetto ai test del passato: persino il sistema più avanzato riesce a portare a termine con pieno successo soltanto il 26,4% delle richieste complesse, lasciando all'utente umano il compito di correggere o completare il lavoro in quasi tre casi su quattro.
Cosa è stato annunciato
I ricercatori hanno ideato Co-Design Bench per superare la saturazione dei benchmark tradizionali, dove molti modelli superano ormai il 99% di accuratezza quando possono eseguire e verificare autonomamente il codice. Il nuovo test si basa invece su casi pratici tratti da sessioni reali, privilegiando situazioni in cui gli sviluppatori umani avevano dovuto riformulare le richieste o annullare le modifiche a causa di errori dei modelli.
Nel test, gli agenti di programmazione (sistemi AI capaci di interagire direttamente con i file di progetto) devono modificare applicazioni web esistenti a partire da richieste espresse anche tramite immagini, audio, video o documenti di testo. La valutazione avviene in modo particolarmente severo: un primo giudice artificiale esamina l'applicazione all'interno di un browser e un secondo verifica che non vi siano soluzioni fittizie o valori inseriti a mano ("hardcoded"), assegnando punti solo alle funzionalità realmente funzionanti.
Il modello migliore tra i dieci esaminati è risultato GPT-6 Astra, che rispetta in media circa il 70% dei requisiti richiesti, ma conclude il compito in modo del tutto corretto solo nel 26,4% dei casi. Alle sue spalle si posizionano Claude Opus 5 e Qwen3.8-Max, mentre Grok 4.6 si colloca all'ultimo posto. Nelle riscritture di progetti più estesi, il modello più compatto Qwen3.8-27B ottiene il secondo posto.
Tutti i modelli mostrano un drastico calo di rendimento quando una richiesta combina più aspetti contemporaneamente, come interfaccia, logica di interazione, grafica e contenuti. Inoltre, aumentare il consumo computazionale non risolve il problema: il modello GLM-5.2 ha consumato quasi sei volte i token (le unità minime di testo elaborate dall'AI) di GPT-6 Astra su modifiche minori, ottenendo comunque punteggi sensibilmente inferiori.
Cosa cambia per chi usa l'AI
Per gli sviluppatori e le aziende che integrano assistenti di programmazione nei propri flussi di lavoro, lo studio conferma che l'automazione completa resta lontana nei contesti di produzione tipici, dove le modifiche toccano diversi livelli dell'applicazione contemporaneamente. L'intervento umano di revisione e rifinitura rimane indispensabile nella maggior parte dei casi.
La ricerca evidenzia inoltre il ruolo critico del cosiddetto "harness", ossia l'ambiente software tramite il quale l'agente legge, scrive ed esegue il codice. Modificando esclusivamente questo ambiente a parità di modello, il punteggio di Qwen3.8-27B sulle modifiche ampie è variato dal 56% al 75%. Per chi seleziona strumenti di questo tipo diventa quindi fondamentale valutare l'accoppiata tra modello e ambiente di integrazione, anziché affidarsi unicamente alle classifiche generiche.
Domande frequenti
Cos'è un harness per agenti di programmazione?
È l'infrastruttura software che consente all'agente AI di interfacciarsi con il progetto, permettendogli di leggere, scrivere ed eseguire il codice all'interno dell'ambiente di lavoro.
Perché i vecchi benchmark di programmazione non sono più considerati indicativi?
Perché molti modelli ottengono punteggi superiori al 99% potendo testare e correggere il codice da soli, rendendo impossibile distinguere la reale efficacia pratica dei diversi sistemi.
Quali modelli hanno ottenuto i risultati migliori nel test?
GPT-6 Astra ha registrato il punteggio più alto, seguito da Claude Opus 5 e Qwen3.8-Max. Grok 4.6 si è classificato all'ultimo posto tra i dieci modelli valutati.
Fonti
Come è nato questo articolo Una prima bozza è stata preparata con l'aiuto dell'intelligenza artificiale a partire dalle fonti qui sopra; il testo è stato poi verificato e approvato dalla redazione. Come lavoriamo · Segnala un errore