Início Produtos NVIDIA aposta em codesign para aliviar pressão sobre a memória de sistemas...

NVIDIA aposta em codesign para aliviar pressão sobre a memória de sistemas de IA

0
83
NVIDIA aposta em codesign para aliviar pressão sobre a memória de sistemas de IA

A NVIDIA afirma que o avanço da inferência de IA depende menos de simplesmente adicionar HBM e mais de coordenar GPU, CPU, rede, armazenamento e software. A empresa cita ganhos de até 30 vezes em throughput por dólar em uma comparação divulgada pela SemiAnalysis, mas os números vêm da própria NVIDIA e não foram verificados de forma independente neste material.

A NVIDIA afirma que a pressão sobre a memória dos sistemas de IA está aumentando com modelos maiores, contextos mais longos e aplicações agenticas. Segundo a empresa, a oferta mais restrita e o aumento de preços de memória reforçam a necessidade de extrair mais trabalho de cada byte.

A resposta apresentada não é apenas instalar mais memória HBM nas GPUs. A companhia defende um codesign de ponta a ponta, no qual GPUs, CPUs, redes, armazenamento e software são projetados para operar como uma hierarquia integrada.

Por que a memória virou um gargalo

Durante a inferência, a HBM precisa acomodar principalmente os pesos do modelo e o KV cache, que preserva o contexto de requisições ativas. Em fluxos agenticos, o mesmo contexto pode atravessar várias chamadas de modelo e ferramentas, aumentando a memória de trabalho.

O texto da NVIDIA também aponta que RAG adiciona informações corporativas ao prompt. Esses dados ampliam o contexto processado, embora nem todo o conteúdo precise permanecer na camada mais rápida e cara.

A empresa compara a HBM a um armazém com docas de carregamento: aumentar o espaço não resolve necessariamente o problema quando a largura de banda limita a movimentação. Esse limite é descrito como memory wall.

Por isso, a proposta é distribuir os dados entre HBM, memória da CPU, SSDs locais e armazenamento compartilhado. Informações ativas ficam próximas da GPU, enquanto dados pausados ou menos urgentes ocupam camadas de maior capacidade e menor custo.

Compressão e movimentação do contexto

A NVIDIA diz que o formato NVFP4 reduz o espaço necessário para os pesos em comparação com FP8. A companhia cita modelos de diferentes desenvolvedores que já teriam sido disponibilizados com checkpoints em NVFP4, mas não apresenta, no material fornecido, uma avaliação independente de qualidade para cada caso.

Em sistemas NVL72, os pesos podem ser distribuídos entre até 72 GPUs, reduzindo a parcela armazenada em cada dispositivo e liberando HBM para o KV cache e para mais usuários simultâneos.

A empresa também afirma que aplicar NVFP4 ao KV cache reduz sua ocupação. Contextos inativos poderiam permanecer em memória LPDDR associada à CPU Vera ou ser transferidos pelo software Dynamo para o CMX context memory storage.

Segundo a descrição, o Dynamo administra o KV cache como um recurso distribuído entre GPU, CPU e armazenamento. O mecanismo de reutilização busca evitar que um contexto já calculado precise ser processado novamente.

Para aplicações RAG, a NVIDIA propõe embeddings menores e índices mantidos em CPU e armazenamento por meio de modelos Nemotron Retriever e da biblioteca cuVS. Assim, apenas os trechos recuperados entram no contexto enviado ao modelo.

Ganhos alegados por geração de plataforma

A NVIDIA afirma que o throughput por dólar cresceu mais rapidamente do que a capacidade de HBM por GPU em suas plataformas recentes. No workload DeepSeek V4 Pro da SemiAnalysis AgentX, a empresa declara até 10 vezes mais throughput por dólar para o GB300 NVL72 em relação ao H200, sob uma meta de 100 tokens por segundo por usuário.

Em outra comparação, a companhia declara que o Vera Rubin NVL72 alcança até 30 vezes mais throughput por dólar que o GB300 NVL72 a 125 tokens por segundo por usuário, enquanto a capacidade de HBM por GPU teria aumentado cerca de 3%.

Esses números dependem do workload, da configuração, da meta de latência e da metodologia de custo. O material fornecido não detalha todos esses parâmetros nem permite confirmar os resultados fora das afirmações da NVIDIA.

Para operadores de infraestrutura, a métrica central passa a ser a quantidade de tokens úteis entregue dentro do orçamento de energia e do tempo de resposta esperado. A tese da NVIDIA é que a eficiência sistêmica pode reduzir o custo por token mesmo quando a capacidade de HBM cresce pouco.

Fonte original: NVIDIA: More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge.

Receba o Jornal da IA todos os dias

As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.

Sem spam. Cancele quando quiser.

LEAVE A REPLY

Please enter your comment!
Please enter your name here