Projeto de rede de cluster de IA: Spine-Leaf, RoCE e NICs

O design de rede de cluster de IA é o processo de dimensionamento de NICs de servidor de GPU, largura de banda-spine, taxa de excesso de assinaturas, configurações de RoCE, óptica e cabeamento para que o tráfego de treinamento distribuído permaneça previsível à medida que o cluster é dimensionado. Se qualquer um deles estiver errado, a rede - e não a GPU - se tornará o gargalo.

Por que a rede AI Cluster é diferente

Em um data center corporativo tradicional, a rede lida com uma combinação de tráfego de usuários norte{0}}sul, acesso ao armazenamento, virtualização e gerenciamento. O tráfego leste{2}}oeste existe, mas raramente é a carga dominante. Num cluster de IA, a situação inverte-se. Servidores GPU executando treinamento distribuído trocam gradientes e sincronizam parâmetros durante cada etapa do trabalho. Esta comunicação faz parte do cálculo, não é um efeito colateral dele.

Se uma GPU de US$ 30.000 gasta 30% de seu tempo esperando na rede durante todas as-operações de redução, o cluster paga efetivamente por 30% de sua capacidade computacional para ficar ocioso. Essa é a razão económica pela qual as redes de IA recebem tanta atenção.

Três características da carga de trabalho orientam o design:

• Tráfego leste{0}}oeste intenso.Operações de comunicação coletiva como todos-reduzem, todos-reúnem e reduzem-a dispersão produzem rajadas sincronizadas em vários nós simultaneamente.
• Sensibilidade de latência-de cauda.Um único nó lento atrasa toda a etapa de treinamento. A latência previsível é mais importante do que a latência média.
• Expanda-o crescimento.Clusters que começam com 32 GPUs geralmente crescem para 256 ou 1.024 em 18 meses. O tecido deve ser dimensionado sem redesenho.

Por que o Spine-Leaf se adapta aos clusters de IA

Spine{0}}leaf é a estrutura padrão para data centers de hiperescala porque fornece a cada caminho de servidor-para{2}}servidor a mesma contagem de saltos e a mesma largura de banda teórica. Para cargas de trabalho de IA, essa uniformidade se traduz diretamente em tempos de etapas de treinamento mais previsíveis.

Em uma topologia de folha-espinha, os servidores GPU se conectam a comutadores folha, e cada folha se conecta a cada coluna. Qualquer comunicação de GPU-para{3}}GPU atravessa exatamente uma folha, uma espinha e mais uma folha. Não há camadas de agregação que introduzam latência variável ou pontos de estrangulamento.

Latência Previsível

O roteamento de-custo múltiplo-de caminhos (ECMP) espalha fluxos entre switches de coluna. Quando configurado corretamente com roteamento adaptativo ou balanceamento de carga dinâmico, isso evita colisões de hash que fazem com que alguns fluxos sejam muito mais lentos que outros - um problema conhecido em malhas ECMP estáticas que transportam poucos, mas grandes fluxos, que é exatamente o que o treinamento de IA gera.

Largura de banda de alta bissecção

A largura de banda da bissecção é a taxa de transferência disponível entre quaisquer duas metades iguais do cluster. O treinamento de IA se beneficia de projetos sem-bloqueio ou quase{2}}sem-bloqueio, em que a capacidade de uplink folha-para{5}}spine é igual ou quase igual à capacidade de downlink voltada para os servidores. A IETF define e discute esses conceitos emRFC 7938, que abrange malhas Clos roteadas por BGP, amplamente usadas em data centers de grande-escala.

Escalabilidade horizontal-mais fácil

Adicione mais folhas para adicionar mais servidores. Adicione mais espinhos para adicionar mais largura de banda de bissecção. Para clusters com mais de alguns milhares de GPUs, uma topologia super-spine (Clos de 5-estágios) ou otimizada para trilhos estende o mesmo princípio uma camada adiante.

Componentes principais de uma rede de cluster de IA

Servidores GPU e NICs

A NIC é onde a estrutura encontra o host. Em clusters de IA, a seleção de NIC orienta tudo no downstream - velocidade da porta do switch, escolha óptica e densidade de cabeamento.

Critérios de seleção para cargas de trabalho de IA:

• Velocidade da porta:200G, 400G ou 800G por porta. Combine com a geração de GPU e largura de banda PCIe.
• Geração PCIe:Uma NIC 400G precisa de PCIe Gen5 x16 para evitar limitação no lado do host. PCIe Gen4 x16 tem limite de ~256 Gbps utilizáveis.
• Suporte a RDMA e RoCEv2:Obrigatório para o kernel-ignorar bibliotecas de comunicação de GPU como NCCL.
• GPUDirect RDMA:Permite direcionar a GPU-para-NIC DMA, removendo cópias da memória do host.
• Capacidade de vários-trilhos:Muitos servidores de IA usam quatro ou oito NICs por nó, uma por par de GPU, para topologias-otimizadas para trilhos.

Um servidor típico de 8 GPU hoje usa NICs 4× 400G (uma para cada duas GPUs) ou NICs 8× 400G (uma por GPU), dependendo da carga de trabalho e do orçamento. Arquiteturas de referência deDocumentação de rede NVIDIAcobrir as compensações do design em detalhes.

Interruptores de folha e coluna

Os critérios de seleção de switch para malhas de IA diferem da seleção empresarial. O tamanho do buffer, o comportamento do controle de congestionamento e a telemetria são mais importantes do que a amplitude dos recursos.

• Velocidade e base por{0}}porta:Um switch ASIC de 51,2 Tbps oferece 64 portas 800G ou 128 portas 400G. Radix determina quão plano o tecido pode ser.
• Arquitetura de buffer:Buffers profundos absorvem rajadas de incast, mas adicionam latência. Buffers rasos reduzem a latência, mas exigem controle preciso de congestionamento.
• Conjunto de recursos RoCE:Marcação ECN, PFC, DCQCN ou controle de congestionamento equivalente e tratamento adequado de filas de prioridade de ponta a ponta-a{1}}.
• Telemetria:Telemetria de rede dentro da banda (INT), relatórios de-profundidade de fila e contadores de resolução-de microssegundos para marcas ECN e pausas PFC.

Cabeamento óptico, DAC e AOC

Em 400G e 800G, a planta de cabeamento se torna um verdadeiro problema de engenharia. Fatores de forma, orçamentos de links e configurações de breakout precisam de planejamento antecipado.

• DAC (cobre de conexão direta):Até ~3 metros para 400G, menor custo e menor consumo de energia. Pesado e volumoso em escala.
• AOC (cabo óptico ativo):Até aproximadamente 30 metros, mais fino que o DAC, mas com comprimento-fixo e consome energia óptica em ambas as extremidades.
• Óptica conectável:Necessário além da distância AOC. Os fatores de forma QSFP-DD e OSFP dominam 400G/800G. Os conjuntos de fibra MPO/MTP lidam com conexões de fibra-paralelas.

Para links entre-racks e cabeamento estruturado em 400G/800G, a óptica paralela sobre terminações MPO agora é padrão. A escolha entre cabos tronco e conjuntos breakout depende da alocação de porta do seu switch - consulte nossoGuia de cabo breakout MPOpara a lógica de seleção prática, e o mais amploComparação entre tronco MPO e breakoutao planejar corridas de folha-a{1}}espinha.

RoCE e Ethernet sem perdas em AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) é o transporte Ethernet dominante para cargas de trabalho de IA. Ele permite que as NICs movam dados diretamente entre regiões de memória da GPU sem envolvimento do kernel em nenhuma das extremidades. NCCL, a biblioteca de comunicação GPU subjacente a quase todas as estruturas de treinamento distribuídas, usa RoCEv2 quando o InfiniBand não está disponível.

RoCE funciona bem quando configurado corretamente. Ele falha feio quando configurado incorretamente. OAssociação Comercial InfiniBandpublica as especificações RoCE, e a maioria dos fornecedores de NIC e switches publica guias de configuração detalhados que devem ser seguidos de ponta a ponta-a-.

Por que o comportamento sem perdas é importante

O RDMA foi projetado assumindo um transporte sem perdas. Quando os pacotes caem, a recuperação de RDMA é cara - voltar-voltar-N retransmissões podem atrasar uma etapa de treinamento por milissegundos, o que é enorme em relação ao orçamento de RDMA em escala de microssegundos-.

Para aproximar o comportamento sem perdas na Ethernet, a malha usa dois mecanismos trabalhando juntos:

• PFC (controle de fluxo prioritário, IEEE 802.1Qbb):Um switch pausa o tráfego de entrada em uma fila de prioridade específica quando seu buffer é preenchido. Este é um mecanismo de último-recurso.
• ECN (Notificação Explícita de Congestionamento, RFC 3168):Os switches marcam os pacotes quando as filas se aproximam de um limite. A NIC reduz sua taxa de envio antes que os buffers sejam realmente preenchidos, evitando totalmente o PFC.

O objetivo é que a ECN faça quase toda a gestão de congestionamento, tendo o PFC como rede de segurança. Se você observar pausas frequentes do PFC no tráfego de estado-estacionário, seus limites de ECN estão errados ou sua malha está subdimensionada.

Falhas comuns de implantação do RoCE

Como projetar uma rede de cluster de IA: uma estrutura de trabalho

Esta é a seção que a maioria dos artigos sobre "rede de IA" ignora. As sete etapas abaixo fornecem entradas e resultados concretos em cada estágio.

Etapa 1: definir carga de trabalho e escala

Entradas:Tipo de carga de trabalho (pré-treinamento, ajuste-fino, inferência, mista), contagem de GPU alvo hoje, contagem de GPU alvo em 18 meses, faixa de tamanho do modelo.

Saída:Um perfil de carga de trabalho que informa a velocidade da NIC e a tolerância ao excesso de assinaturas. O grande pré-treinamento de modelos de fronteira exige malhas não{1}}bloqueantes de 400G+. Cargas de trabalho de ajuste-fino podem tolerar excesso de assinaturas de 2:1. Os clusters de inferência geralmente precisam de menor largura de banda, mas menor latência final.

Etapa 2: escolha a velocidade da NIC e a contagem por servidor

Lógica de decisão:

• Pré-treinamento de modelos grandes, servidores de 8 GPU → 4–8× NICs de 400G por servidor ou 4× 800G
• Treinamento de-escala média, servidores de 8 GPU → 2–4× NICs de 400G por servidor
• Serviço de inferência → 1–2× NICs de 200G ou 400G por servidor, dependendo do paralelismo do modelo

Verifique a largura de banda PCIe no host. Uma única porta 400G requer PCIe Gen5 x16 para funcionar em taxa de linha; dobrar para 800G requer Gen6 ou dividir em dois slots.

Etapa 3: dimensionar a camada de folhas

Exemplo resolvido de - 32-cluster de nós, 8 GPUs por nó, 4× NICs de 400G por nó:

• Total de portas-de servidor necessárias: 32 × 4=128 portas a 400G
• Largura de banda de downlink por nó: 4 × 400=1.6 Tbps
• Largura de banda total do downlink do cluster: 32 × 1.6=51.2 Tbps

Usando um switch leaf 400G de 64 portas (25,6 Tbps de capacidade total), cada leaf pode conectar 32 portas de servidor e usar as 32 portas restantes como uplinks. Com 4 folhas você cobre todas as 128 portas do servidor. Cada folha contribui com 32 × 400G=12.8 Tbps de uplink em direção à coluna vertebral.

Etapa 4: dimensionar a camada da coluna vertebral

Para um projeto sem{0}bloqueio (1:1), a capacidade total de uplink deve ser igual à capacidade total de downlink. Da Etapa 3:

• Total de uplink de folhas necessário: 4 folhas × 12,8 Tbps=51.2 Tbps
• Se cada coluna tiver 32 portas × 400G=12.8 Tbps, você precisará de 4 colunas
• Cada folha se conecta a todos os 4 espinhos usando 8 uplinks por espinha (8 × 400G × 4=12.8 Tbps por folha - correspondências)

Se estiver usando switches de coluna 400G de 64 portas, cada coluna terá capacidade livre para expandir o cluster, útil para o plano de 18 meses da Etapa 1.

Etapa 5: definir a taxa de excesso de assinaturas

Etapa 6: Tráfego separado de computação, armazenamento e gerenciamento

Três opções, em ordem crescente de isolamento:

• Estrutura compartilhada com classes de QoS:Computação, armazenamento e gerenciamento em prioridades DSCP separadas. Menor custo; requer configuração cuidadosa de QoS.
• VLANs/VRFs separados logicamente:Mesmo hardware, planos de controle separados. Útil para clusters de vários-locatários.
• Tecidos fisicamente separados:NICs, switches e cabeamento dedicados para computação versus armazenamento. Custo mais alto; comum em clusters de modelo-de fronteira onde qualquer contenção é inaceitável.

O tráfego de armazenamento para IA é pesado - gravações de pontos de verificação para um modelo grande podem mover centenas de gigabytes em rajadas curtas. Planeje isso explicitamente. Uma instalação de cabeamento estruturado de alta-densidade usandoCabos tronco MPO/MTPsimplifica a execução de malhas paralelas na mesma infraestrutura física.

Etapa 7: validar antes da produção

Os testes-no nível da rede detectam alguns problemas. Os testes no nível-da carga de trabalho capturam o resto.

• Largura de banda:iperf3 ou ib_send_bw entre cada par de nós; deve atingir 90%+ da taxa de linha da NIC.
• Latência:ib_read_lat ou similar; verifique a distribuição, não apenas a média. P99.9 é mais importante do que média.
• Perda de pacotes:Execute o teste de absorção de 24-horas sob carga; qualquer perda diferente de zero na classe de tráfego RoCE é um problema.
• Comportamento da marcação ECN:Verifique se as marcas aparecem antes do PFC disparar; se as pausas do PFC forem frequentes em estado estacionário, sintonize novamente.
• Comunicação coletiva:Execute testes NCCL (all_reduce_perf, all_gather_perf) no tamanho total do cluster. Compare com os números de referência do fornecedor.
• Teste em nível-do trabalho:Execute um trabalho de treinamento de representantes por 4 a 6 horas. Observe a utilização da GPU - valores sustentados abaixo de 50% em um modelo-de tamanho adequado geralmente indicam um problema de rede.

Rede tradicional de data center versus AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Guia de decisão rápida

A questão surge em quase todos os projetos de cluster de IA. Ambos funcionam. A escolha geralmente se resume à adequação operacional e não ao desempenho puro.

• Escolha InfiniBand se:Sua equipe já opera malhas InfiniBand, você quer o caminho mais simples para o transporte sem perdas ou está comprando uma arquitetura de referência de fornecedor totalmente-integrada.
• Escolha Ethernet RoCE se:Sua equipe de operações é nativa-de Ethernet, você deseja opções de troca de vários-fornecedores, precisa integrar a malha de IA com redes de data center existentes ou prevê o escalonamento além do que as topologias InfiniBand atuais suportam de forma limpa.

O Ultra Ethernet Consortium, formado em 2023, está trabalhando ativamente na padronização de melhorias de Ethernet especificamente para cargas de trabalho de IA. Para a maioria dos novos clusters em 2026, Ethernet RoCE é um padrão defensável, a menos que haja um motivo específico para escolher o contrário.

Erros comuns a evitar

Atualizando switches sem verificar NICs

Uma malha de switch 800G não fará nada por você se suas NICs funcionarem a 400G ou se o PCIe do host ficar sem largura de banda. Projete primeiro o lado do host e depois o lado do switch. PCIe Gen5 x16 limita uma única porta a cerca de 504 Gbps de rendimento-do mundo real - confortável para 400G, marginal para 800G.

Otimizando a velocidade da porta, mas ignorando a densidade do cabeamento

Nas saídas de 64-portas 400G, o cabeamento sob cada switch pode se tornar fisicamente incontrolável sem planejamento. Use cabos breakout quando apropriado, roteie as fibras através de caminhos estruturados e padronize os tipos de conectores. A qualidade e a terminação do conector são importantes em altas velocidades - nossoguia de tipos de conectores de fibra ópticaaborda as vantagens e desvantagens entre LC, MPO e formatos emergentes de alta-densidade.

Tratar RoCE como Plug-e-Play

O maior erro de design em clusters reais de IA é não escolher o switch errado -, é subestimar quanto trabalho de configuração-a{2}}de ponta a ponta do RoCE é necessário. Tempo orçamentário para ajustar os limites da ECN, as prioridades do PFC e a consistência da MTU. Planeje uma fase de validação dedicada antes da execução de qualquer carga de trabalho de produção.

Misturando todo o tráfego em uma malha sem QoS

A replicação de armazenamento, os agentes de monitoramento e o tráfego de gerenciamento podem prejudicar os tempos das etapas de treinamento se compartilharem buffers com o tráfego de computação. Separe-os fisicamente ou aplique classes de QoS estritas com prioridades separadas e configuração ECN.

Construindo apenas para o cluster de hoje

A maioria dos clusters de IA cresce de 4 a 8 vezes em dois anos após a implantação inicial. Escolha a capacidade da base e da coluna do switch que permita expansão-sem interrupções. Puxar cabos em um data center de IA ativo é caro; planejar a capacidade de conduítes e patches no momento da implantação é barato.

Quando passar de 400G para 800G

NICs e switches 800G estão disponíveis, mas são mais caros por porta. Considere intensificar quando:

• As-necessidades de largura de banda da GPU excedem o que 400G pode fornecer - por exemplo, H100 e GPUs mais recentes com NVLink 5 esperam maior largura de banda externa
• Todos os NCCL-reduzem os tempos de forma inadequada com o tamanho do cluster, indicando saturação da rede
• A densidade do cabo em 400G está se tornando fisicamente incontrolável - menos portas de 800G podem substituir mais portas de 400G
• Espera-se que a próxima geração de GPU em seu roteiro precise dela dentro da janela de depreciação do cluster
• Você está criando um cluster de treinamento-de modelo de fronteira em que qualquer tempo ocioso de computação custa significativamente mais do que a atualização óptica

Para a maioria dos clusters de produção em 2026, 400G continua sendo o equilíbrio certo entre custo, maturidade do ecossistema e capacidade. 800G faz sentido no segmento de ponta e como um investimento futuro para clusters que estão sendo construídos hoje e com duração prevista de 4 a 5 anos.

Conclusão

A rede de cluster de IA mais forte não é aquela com os switches mais rápidos. É aquele em que a escolha da NIC, o dimensionamento leaf/spine, o excesso de assinaturas, a configuração RoCE, a separação de tráfego e o cabeamento físico apoiam-se mutuamente e à carga de trabalho para a qual foram escolhidos.

Comece com a carga de trabalho e o plano de crescimento de 18-meses. Calcule as necessidades de largura de banda em cada camada usando números reais, não apenas regras práticas. Configure o RoCE de ponta a- e valide com benchmarks reais de comunicação coletiva. Orçamento para planta de cabeamento – em 400G e 800G, a camada física não é mais trivial.

O cluster que mantém suas GPUs ocupadas com mais de 95% de utilização em cada etapa de treinamento é aquele que prestou atenção a todas essas camadas. O cluster que vem com um switch mais rápido e uma malha mais lenta levará anos explicando por que as GPUs estão ociosas.

Leitura adicional

• RFC 7938 - BGP em data centers de grande-escala
• Especificações RoCE da InfiniBand Trade Association -
• Documentação de rede NVIDIA
• Guia de instalação de cabos de fibra óptica
• Perda de inserção vs perda de retorno explicada