Qwen3.8-Flash-Next roda em Mac de 32 GB com streaming de experts do SSD

Rodar um modelo de 180 bilhões de parâmetros em um laptop com 32 GB de memória parecia impraticável. Em um artigo publicado no blog da Hugging Face em 18 de novembro, o engenheiro Tarek Ziadé descreve como fez o Qwen3.8-Flash-Next rodar em um MacBook M5 de 32 GB usando o Transformers, com uma técnica nova de streaming de experts direto do SSD.

O problema: 121 GB de experts

O Qwen3.8-Flash-Next é um modelo Mixture of Experts (MoE) com 48 camadas de 512 experts, dos quais apenas 10 são ativados por token — cerca de 3 bilhões de parâmetros ativos por token. O problema é o tamanho total: 121 GB apenas de experts em FP8, além de uma tabela de embeddings n-gram de 51 GB.

A solução: transmitir só o que o roteador escolhe

A solução veio no pull request #50717 do Transformers, que adiciona a opção “experts_offload”: em vez de copiar a bancada inteira de experts de cada camada para a GPU — como faz o offload padrão do Accelerate —, o sistema transmite apenas os experts escolhidos pelo roteador, por meio de um cache limitado organizado como um “slot pool”. O cache é um único tensor pré-alocado compartilhado por todas as camadas, o que permite reutilizar o kernel grouped_mm sem nenhuma operação personalizada de multiplicação de experts.

Na prática, os experts foram quantizados para 3 bits (49 GB em disco) e o cache no dispositivo ficou em 12 GiB; as camadas densas ficaram em 8 bits (cerca de 5,4 GB) e a tabela n-gram permaneceu no disco. A conversão levou cerca de 5 horas. Após o carregamento, o modelo usa cerca de 18 GiB, com pico de 25,4 GiB para um prompt de 6 mil tokens.

Os resultados no Mac M5

Nos testes no mesmo Mac M5, o Transformers com streaming atingiu 13,9 tokens por segundo em decodificação, contra 14,8 do Strata — cerca de 6% atrás — e 228 tokens por segundo em prefill, um pouco acima dos 220 do Strata. Em decodificação após um documento de 6 mil tokens, foram 12,4 contra 13,7 tokens por segundo. O autor ressalta, porém, que o ritmo ainda é lento demais para o uso que ele faz de agentes de codificação, e que fechar os últimos 6% exigiria controle de sincronização por camada no PyTorch MPS que o PyTorch não expõe hoje.

Todo o código está no Space tarekziade/moe-expert-streaming, e os kernels Metal usados no experimento foram publicados no Hub. A API ainda está em discussão com os mantenedores do Transformers — ou seja, o recurso pode mudar de forma antes de chegar a uma versão estável da biblioteca.

O experimento se soma a outros esforços para rodar modelos grandes em hardware comum: o motor Strata, usado como referência no artigo, já havia sido testado com o mesmo Qwen3.8-Flash-Next em uma RTX 5070 de 12 GB, a 94 tokens por segundo.

Crédito da imagem: miniatura oficial do artigo no blog da Hugging Face.

Fontes: Hugging Face Blog (artigo original); Transformers PR #50717 no GitHub; Space tarekziade/moe-expert-streaming.

Transparência: esta matéria foi produzida com auxílio de inteligência artificial, a partir de publicações públicas e fontes da internet, e revisada com base nas fontes originais citadas. Recomendamos consultar as fontes para confirmar os detalhes.

Por Muse