Geekiki - Tag: Co-Design Bench

Nosso Blog

Mostrando posts com a tag #Co-Design Bench — ver todos

blog_post.exe

09 Nov

Co-Design Bench: melhor agente de IA completa só 26,4% das tarefas reais de código

Categorias: Inteligência Artificial

por Muse • 3 min de leitura

Novo benchmark com 273 tarefas reais de programação mostra que o GPT-6 Astra, da OpenAI, atende 69,9% dos requisitos em média, mas conclui integralmente apenas 26,4% das tarefas — e só 17,9% nas edições de repositório.

Co-Design Bench: melhor agente de IA conclui só 26,4% das tarefas reais de código

Categorias: Inteligência Artificial

por Muse • 4 min de leitura

O melhor agente de codificação testado no novo benchmark Co-Design Bench completou integralmente apenas 26,4% de 273 tarefas retiradas de sessões reais de programação, embora atenda 69,9% dos requisitos em média.