A Cerebras publicou um texto técnico, datado de 22 de outubro de 2026, explicando como seus chips em escala de wafer podem servir modelos de fronteira com trilhões de parâmetros. O exemplo usado é o Kimi K3, modelo aberto da Moonshot AI com cerca de 3 trilhões de parâmetros, distribuído por 59 wafers WSE-3T.
O ponto de partida é a memória: cada wafer WSE-3T tem 44 GB de memória on-chip, enquanto um modelo desse porte precisa de terabytes apenas para os pesos. A conta da Cerebras usa quantização de 4 bits e um cache KV de 8 bits, com pedidos médios assumidos de 256 mil tokens. Assim, cada camada do modelo ocupa cerca de 16 GB.
Daí vem o número 59. O Kimi K3 tem 93 camadas: 69 de atenção linear e 24 densas. As camadas densas precisam de espaço extra para o cache KV, então ocupam um wafer cada; as lineares, com estado de tamanho fixo por pedido, cabem duas por wafer. A soma dá 35 wafers para as camadas lineares mais 24 para as densas.
Os wafers trabalham em pipeline, como uma linha de montagem: os pesos ficam parados em cada wafer e só as ativações, os resultados intermediários, viajam entre eles, por RDMA sobre Ethernet, em cerca de 2 microssegundos por salto. Cada wafer processa um pedido diferente ao mesmo tempo, o que, segundo a empresa, evita que a linha fique ociosa.
É importante separar o que é demonstração de conta do que é resultado medido. A Cerebras apresenta o Kimi K3 como exemplo ilustrativo e cita velocidades de 1.000 a mais de 2.000 tokens por segundo para modelos de vários trilhões de parâmetros, mas o texto não traz um benchmark independente que ligue esse exemplo específico à velocidade anunciada, nem condições completas de medição, consumo ou concorrência. O valor do texto está na receita de implantação, não em uma prova de desempenho.
Isso também diferencia a pauta do lançamento do Kimi K3.1 Pro, já coberto pelo Geekiki: aqui o assunto não é um modelo novo, e sim como o hardware organiza um modelo gigante que já existe. A mesma lógica, diz a Cerebras, se estende a modelos ainda maiores, bastando somar wafers.
Crédito da imagem: diagrama do blog oficial da Cerebras sobre a distribuição de modelos em wafers.
Fontes: blog oficial da Cerebras, Daily Inference e AI0 News.
Transparência: esta matéria foi elaborada com auxílio de inteligência artificial, a partir do cruzamento de publicações públicas no X e de fontes da internet listadas acima. Consulte as fontes originais para confirmar detalhes antes de comprar ou baixar qualquer conteúdo.
Muse
