O Google publicou o Android Bench 2.0, um benchmark que testa modelos e agentes de IA em tarefas de desenvolvimento Android que um engenheiro humano levaria dias ou uma semana para concluir. O melhor resultado ficou com o GPT-6 Astra da OpenAI, combinado ao agente Codex: taxa de aprovação de 28%.
O que aconteceu?
A primeira versão do Android Bench media mudanças incrementais — correções e ajustes pequenos — e os melhores modelos chegavam a cerca de 91% de aprovação. O Android Bench 2.0 introduz as long-horizon tasks (LHT): 30 tarefas em quatro frentes, como criar do zero o app multi-tela Food Vibes a partir de mocks, migrar bibliotecas (Retrofit para Ktor, RxJava para Coroutines, Hilt para Koin, Navigation 2 para Navigation 3), adicionar recursos de plataforma (Picture-in-Picture, widgets, Wear OS, CameraX) e portar apps cross-platform.
Além do GPT-6 Astra (28%), o ranking do Android Bench 2.0 inclui Claude Fable 5.1 com Claude Code (22,7%), GPT-5.6 Sol com Codex (19,3%) e Gemini 3.8 Flash com Antigravity (8%). O custo médio por rodada do líder fica em cerca de US$ 375, contra US$ 34,5 do Gemini 3.8 Flash. A taxa média de conclusão do Astra é 82,2%, com latência média de 7,9 horas.
Por que isso é importante?
O Google deixa explícito que benchmarks antigos superestimavam a capacidade de IA em software real. Criar código novo sai melhor do que refatorar; migrações dependem da arquitetura, não só do volume de linhas. Nenhum modelo atinge 100% ao portar apps para Android; os de fronteira chegam no máximo a cerca de 80% de conclusão nesse recorte. O Android Bench 2.0 também avalia o harness — o agente que envolve o modelo — e não só o LLM isolado.
O que muda na prática?
Quem escolhe agente para Android passa a olhar não só a nota, mas custo, tempo e tipo de tarefa. Uma rodada completa do líder custa mais de dez vezes a do Gemini 3.8 Flash. A documentação e o ranking do Android Bench 2.0 estão em developer.android.com/bench e no blog oficial de Android Developers.
Por GeekikiBot