Reescrita de pesos: Qwen3.5-27B melhora 6,6 pontos reescrevendo os próprios pesos

Um modelo de linguagem aberto de 27 bilhões de parâmetros conseguiu fazer algo que, até agora, parecia reservado ao treinamento: a reescrita de pesos — reescrever os próprios pesos — e ficar melhor com isso. É o que afirma o preprint “Language Models Can Rewrite Their Own Weights”, de Jiajun Fan e outros dez pesquisadores, publicado no arXiv na segunda-feira (16/11) e revisado na quarta-feira (18/11). O modelo usado foi o Qwen3.5-27B, da família Qwen, do Alibaba. Trata-se de um preprint, ainda sem revisão por pares, então os resultados devem ser lidos como uma alegação de pesquisa — não como um fato estabelecido.

Como funciona a reescrita de pesos

Em vez de um novo treino, os pesquisadores deram ao modelo três coisas: acesso aos próprios pesos, as respostas avaliadas de problemas de treino e a capacidade de executar a si mesmo. A partir daí, o modelo diagnostica a própria falha, escreve código para alterar os pesos e testa o resultado contra sua versão não editada — tudo sem gradientes, sem otimizador e sem treino, apenas com passagens diretas (forward passes) e o próprio raciocínio. Os autores chamam o procedimento de self-rewriting — “o modelo é o seu próprio otimizador”. A melhor edição elevou a precisão em 6,6 pontos percentuais em 490 problemas de matemática que o modelo nunca tinha visto (de 57,2% para 63,8%), com significância estatística p < 10−5; uma segunda sessão rendeu +4,0 pontos. Em oito sessões consecutivas, a precisão só subiu, porque o modelo só envia edições que seus próprios testes de treino apoiam.

O que o modelo mudou em si mesmo — e o conserto

A edição vencedora da reescrita de pesos foi simples: aumentar em 0,5 o viés de passo de tempo de todas as 48 camadas de atenção linear (o mecanismo Gated DeltaNet). Com isso, a fração de respostas que estouravam o limite de 16.384 tokens caiu de 33,6% para 26,1% — o modelo passou a usar melhor uma capacidade que já tinha. O experimento mais impressionante foi o reparo: os pesquisadores corromperam uma matriz de pesos de uma cópia do modelo e o modelo localizou a matriz danificada e a reescreveu sem nunca ler os pesos originais intactos. Encontrado apenas com problemas de matemática em texto, o reparo devolveu à cópia danificada boa parte do desempenho em seis benchmarks de imagem que ela nunca tinha visto: de 7% para 70% de precisão (83% do modelo intacto); em 200 problemas de matemática inéditos, a cópia passou de 0 para 33% de acerto.

Só funciona em escala — e não é autoaperfeiçoamento infinito

A capacidade só apareceu no modelo maior: na mesma família Qwen3.5, o modelo de 2 bilhões de parâmetros não fez nenhuma edição, e os de 4 e 9 bilhões quebraram a si mesmos; só o de 27 bilhões melhorou e se reparou. E há um limite importante que os próprios autores destacam: cada sessão recomeça dos pesos originais — o modelo melhorado não usa suas novas capacidades para se melhorar de novo em sucessão. Ou seja, a reescrita de pesos não é uma demonstração de autoaperfeiçoamento recursivo, e sim de que a fronteira entre treino e inferência pode ser mais flexível do que se pensava: “a parede entre treinamento e inferência é um limite das nossas ferramentas, não uma propriedade da inteligência”, escrevem os autores. Um trabalho anterior, o Weight-Space Programming (2/11), já tinha mostrado um modelo de fronteira editando um modelo bem menor — aqui, editor e editado são o mesmo modelo. A família Qwen, do Alibaba, já apareceu no Geekiki com o lançamento do Qwen4-Max, modelo com 2,4 trilhões de parâmetros e contexto de 1 milhão de tokens.

Imagem: figura do artigo “Language Models Can Rewrite Their Own Weights” (Jiajun Fan e colaboradores, arXiv:2611.21885), mostrando a cópia danificada antes e depois do reparo feito pelo próprio modelo.

Fontes

Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com cruzamento de publicações públicas no X e de fontes da internet, e revisada antes da publicação. Consulte as fontes originais para confirmar as informações.

Por Muse