Nosso Blog

Tags: #IA #Steam #Nvidia #inteligência artificial #PS5 #OpenAI #Xbox #agentes de IA #nintendo switch 2 #Anthropic #Switch 2 #PlayStation 5 #PC #Google #Microsoft #China
Mostrando posts com a tag #benchmark — ver todos
blog_post.exe
Co-Design Bench: melhor agente de IA completa só 26,4% das tarefas reais de código
09 Nov

Co-Design Bench: melhor agente de IA completa só 26,4% das tarefas reais de código

Categorias: Inteligência Artificial

por Muse • 3 min de leitura

Novo benchmark com 273 tarefas reais de programação mostra que o GPT-6 Astra, da OpenAI, atende 69,9% dos requisitos em média, mas conclui integralmente apenas 26,4% das tarefas — e só 17,9% nas edições de repositório.

Leia mais
blog_post.exe
Co-Design Bench: melhor agente de IA conclui só 26,4% das tarefas reais de código
09 Nov

Co-Design Bench: melhor agente de IA conclui só 26,4% das tarefas reais de código

Categorias: Inteligência Artificial

por Muse • 4 min de leitura

O melhor agente de codificação testado no novo benchmark Co-Design Bench completou integralmente apenas 26,4% de 273 tarefas retiradas de sessões reais de programação, embora atenda 69,9% dos requisitos em média.

Leia mais
blog_post.exe
MaxxBench: mudar 17 linhas expõe abismo de 23 pontos entre agentes de IA
08 Nov

MaxxBench: mudar 17 linhas expõe abismo de 23 pontos entre agentes de IA

Categorias: Inteligência Artificial

por Muse • 5 min de leitura

Novo benchmark muda pequenos requisitos em 89 tarefas do DeepSWE e revela que modelos empatados em 74% se separam por 23 pontos: Claude Opus 5.5 lidera com 76,4%, enquanto Gemini 3.8 Flash cai para 53,4%.

Leia mais
blog_post.exe
Into the Unknown: nenhum agente de IA passou em 135 pesquisas reais de laboratórios dos EUA
08 Nov

Into the Unknown: nenhum agente de IA passou em 135 pesquisas reais de laboratórios dos EUA

Categorias: Tecnologia

por Muse • 4 min de leitura

Nove agentes de IA de fronteira tentaram resolver 15 problemas abertos de laboratórios nacionais dos EUA; nenhuma das 135 submissões atingiu o padrão dos especialistas e 114 falharam na checagem de integridade.

Leia mais
blog_post.exe
DeepSeek gratuito chega a 8 pontos do modelo restrito de ciberataque da OpenAI em teste da Vals
08 Nov

DeepSeek gratuito chega a 8 pontos do modelo restrito de ciberataque da OpenAI em teste da Vals

Categorias: Tecnologia

por Muse • 4 min de leitura

O DeepSeek V4.1 Flash, de pesos abertos, completou 72,8% dos objetivos do benchmark CyberOffense da Vals, a oito pontos do GPT-6 Sol Daybreak, da OpenAI, por cerca de um décimo do custo.

Leia mais
blog_post.exe
REDMAGIC 12 Pro não alcança o aparelho de referência da Qualcomm em benchmarks do Snapdragon 8 Elite Extreme Gen 6
08 Nov

REDMAGIC 12 Pro não alcança o aparelho de referência da Qualcomm em benchmarks do Snapdragon 8 Elite Extreme Gen 6

Categorias: Tecnologia

por Muse • 3 min de leitura

Primeiro celular à venda com o Snapdragon 8 Elite Extreme Gen 6, o REDMAGIC 12 Pro fica até 18% atrás do aparelho de referência da Qualcomm no Geekbench 7 e 16% no 3DMark, segundo testes do Android Authority.

Leia mais
blog_post.exe
BioBasicsBench: OpenAI testa IA em 100 tarefas reais de laboratório e GPT-6 Astra lidera
07 Nov

BioBasicsBench: OpenAI testa IA em 100 tarefas reais de laboratório e GPT-6 Astra lidera

Categorias: Inteligência Artificial

por Muse • 3 min de leitura

A OpenAI apresentou com a Ligo o BioBasicsBench, um benchmark com 100 tarefas de laboratório real. O GPT-6 Astra liderou com 66,7%, mas a própria OpenAI alerta: nota alta não significa julgamento confiável no laboratório.

Leia mais
blog_post.exe
Clocktower Bench: GPT-6 Astra lidera benchmark em que IAs precisam mentir para vencer
06 Nov

Clocktower Bench: GPT-6 Astra lidera benchmark em que IAs precisam mentir para vencer

Categorias: Inteligência Artificial

por Muse • 3 min de leitura

No Clocktower Bench, em 386 partidas de Blood on the Clocktower, o modelo da OpenAI superou o Claude Opus 4.6 com cerca de 92% de vitórias; a vantagem está em detectar mentiras, não em mentir melhor.

Leia mais
Acesse as ofertas exclusivas de nossos parceiros