Um experimento publicado no blog do Hugging Face mostra que é possível rodar o Qwen3.8-Flash-Next, um modelo MoE de 180B parâmetros com 121 GB em FP8, em um MacBook M5 com 32 GB de memória unificada. A abordagem transmite apenas os especialistas escolhidos pelo roteador, direto do SSD, com um cache limitado no dispositivo. Segundo o autor, o resultado fica cerca de 6% atrás do Strata na decodificação curta, com prefill ligeiramente mais rápido, tudo dentro do Transformers.
Um experimento publicado no blog do Hugging Face descreve como rodar um modelo de mistura de especialistas (MoE) com 180B parâmetros e 121 GB de pesos em FP8 em um MacBook M5 com 32 GB de memória unificada. A ideia central é transmitir do SSD apenas os especialistas que o roteador escolhe para cada token, mantendo um cache limitado no dispositivo.
O autor relata que o resultado final fica cerca de 6% atrás do Strata na decodificação curta, com prefill ligeiramente mais rápido, tudo dentro do Transformers. O texto atribui essa proximidade a três escolhas: transmitir somente os especialistas roteados, usar um cache limitado sobre o qual o grouped_mm roda sem alterações e escrever alguns kernels Metal específicos.
Por que os especialistas dominam o problema
Segundo o texto, os especialistas representam mais de 90% dos pesos de um modelo MoE. Por isso, um modelo de 180B parâmetros pode rodar em uma GPU com muito menos memória, desde que apenas os especialistas mais usados fiquem na VRAM e o restante vá para a RAM ou para o disco.
O autor descreve o Qwen3.8-Flash-Next como um modelo com 48 camadas de 512 especialistas, 10 ativos, e 121 GB em FP8. Além dos especialistas, há uma tabela de embeddings n-gram de 51 GB que também precisa de um caminho próprio no disco.
Para caber no MacBook, os especialistas foram quantizados para 3 bits, ocupando 49 GB no disco e 12 GiB em cache no dispositivo. As camadas densas ficaram em 8 bits, com cerca de 5,4 GB e um aumento de 0,2% na perplexidade em relação a BF16. A tabela n-gram permanece no disco, com linhas lidas quando necessário.
O texto informa que a conversão leva cerca de 5 horas. Depois do carregamento, o modelo usa aproximadamente 18 GiB, e um prompt de 6K tokens chega ao pico de 25,4 GiB. O autor diz que precisa fechar o navegador nesse ponto, ou o macOS começa a fazer swap.
O que o experimento comparou e como chegou perto
Antes de partir para o modelo maior, o autor testou o OLMoE-1B-7B, que cabe na memória, para comparar cada token com o Transformers padrão. A primeira versão, com especialistas no disco, cache LRU no dispositivo e um laço em Python processando um especialista por vez, fez 10,1 tok/s, contra cerca de 32 do Transformers padrão.
A correção foi transformar o cache em um pool de slots: um tensor pré-alocado no dispositivo compartilhado por todas as camadas, mais uma tabela por camada que mapeia o id do especialista para o slot. Com isso, o pool se parece com um banco de especialistas comum e o grouped_mm roda sem modificações. O resultado subiu para 34,6 tok/s, contra 38,1 do Transformers padrão.
O autor também comparou o comportamento de llama.cpp, vLLM e Transformers quando um modelo MoE não cabe na memória. No llama.cpp, os especialistas podem ficar na CPU e são calculados lá, de modo que só as ativações cruzam o PCIe. No vLLM, o parâmetro de offload coloca pesos em RAM fixada e os kernels leem no local, mas nada é cacheado e não há camada de disco. No Transformers, o offload via Accelerate copia o banco inteiro de especialistas de cada camada a cada token, sem noção de roteamento.
O texto relata testes com o Qwen3.6-35B-A3B em uma A10G de 24 GB. Fazer offload apenas dos especialistas dobrou a velocidade do vLLM, e FP8 ajudou ainda mais. O outro backend de offload do vLLM, que copia grupos de camadas antecipadamente, ficou abaixo de 1 tok/s.
O que ainda limita o desempenho
Segundo o autor, a maior parte do tempo não foi gasta nos especialistas. Commitar o trabalho da GPU cedo rendeu 10%, porque o PyTorch no MPS segura kernels pequenos até a próxima sincronização. Kernels Metal para Gated DeltaNet e hyper-connections também ajudaram, assim como usar os pesos GGUF do Strata, que reduziram o tráfego de pesos densos de 5,4 GB para 3,9 GB por token e o tamanho individual de cada especialista de 2,15 MB para 1,75 MB.
No prefill, o autor relata ir de 68 para cerca de 228 tok/s com blocos maiores e leitura antecipada dos especialistas da camada seguinte enquanto a camada atual é calculada. Para documentos longos, a atenção passou a considerar apenas os blocos selecionados pelo indexador, e o cache KV cresce no lugar em vez de ser copiado a cada token.
O autor afirma que o que resta são principalmente idas e voltas ao host, cerca de 10 ms por token. Acordar depois de uma sincronização custa só cerca de 1 ms desse total. O restante é a GPU ficando ociosa enquanto o Python enfileira a próxima camada. O Strata enfileira o trabalho do token inteiro de antemão e a GPU espera em um evento compartilhado do Metal a cada camada, enquanto o host lê os especialistas. O PyTorch não expõe isso hoje.
O autor diz ter tentado simular esse comportamento com um kernel girando em uma flag escrita pela CPU, mas a GPU levou de um segundo a nunca para ver a escrita. A correção real exigiria uma operação nativa no stream MPS do PyTorch, com risco de travamentos, e por isso não foi construída.
O texto também menciona o vllm-metal, que roda vLLM em GPUs da Apple via MLX e recentemente ganhou offload de especialistas. Segundo o autor, ele transmite os especialistas roteados por um cache limitado, como este projeto, mas não consegue rodar o Qwen3.8-Flash-Next em 32 GB por causa da tabela n-gram: apenas os especialistas são transmitidos, e as tabelas n-gram ficam na memória, o que soma 32 GB nos checkpoints MLX no Hub antes dos cerca de 5 GB de camadas densas e de qualquer cache de especialistas.
O autor é explícito sobre o resultado: o Transformers não superou o Strata, e fechar os cerca de 6% restantes exigiria mudanças mais profundas na pilha, começando pelo controle da sincronização por camada. Ele também afirma que o modelo roda a cerca de 14 tok/s, ainda lento demais para o seu uso com agentes de programação, e que o PC com duas RTX 4090 continua fazendo o trabalho real.
A implementação genérica de streaming de especialistas está no pull request 50717 do repositório huggingface/transformers, e os benchmarks estão em um Space. O autor pede feedback sobre a abordagem e a API, que ainda está em discussão com os mantenedores do Transformers. O texto não informa uma data de disponibilidade estável nem confirma quando a mudança será incorporada ao Transformers.
Fonte original: Hugging Face: 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers.
Receba o Jornal da IA todos os dias
As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.



