InfiniBand vs RoCE para redes de inferência de IA

EscolherBanda Infiniquando sua carga de trabalho de inferência sobrevive ou morre pela latência final previsível e escolhaRoCE(RDMA sobre Ethernet convergente) quando quiser desempenho de classe-RDMA em uma malha Ethernet, você pode dimensionar, compartilhar e operar com a equipe que já possui. Nenhuma das opções vence em todos os lugares. A decisão certa depende do seu padrão de inferência, das metas de latência p99 e p999, da escala da GPU, do orçamento e da quantidade de experiência-em ajuste de Ethernet sem perdas que sua equipe realmente possui.

Por que a rede é mais importante do que as equipes de inferência esperam

Durante anos, a inferência foi tratada como a metade fácil da história da GPU: um modelo carregado em um único nó, solicitações atendidas de forma independente, muito pouco tráfego leste{0}}oeste. Essa imagem agora está desatualizada. A inferência moderna está cada vez mais difundida e vários padrões exercem uma pressão real sobre o tecido.

• Paralelismo tensorialdivide uma única camada entre GPUs, de modo que cada etapa do token aciona todas as operações de-redução ou de{1}}reunião entre elas. Esse é um tráfego frequente,{3}}sensível à latência e cruzado-de GPUs que as GPUs bloqueiam enquanto aguardam.
• Paralelismo de pipelinetransfere ativações de um estágio para o próximo, geralmente entre nós, adicionando dependências entre-nós a cada passagem de encaminhamento.
• Pré-preenchimento e decodificação desagregadossepara a fase de pré-preenchimento-pesado de computação da fase de decodificação sensível à latência-e, em seguida, move o cache KV entre elas. Essas transferências são grandes e intermitentes, e qualquer atraso aparece diretamente como um tempo mais lento-até o-primeiro-token e latência entre-tokens.
• Recuperação-geração aumentada (RAG)adiciona tráfego leste{0}}oeste aos serviços de vetor e pesquisa. Geralmente é menos crítica em termos de latência-do que as operações coletivas, mas ainda carrega a malha, especialmente em alto volume de consultas.
• Atendimento para vários-locatárioscoloca muitos modelos e usuários na mesma malha, onde microbursts e efeitos{{0}vizinhos barulhentos se tornam o risco dominante.

Quando a rede é o gargalo, os sintomas são caros: maior tempo-para o-primeiro-token, GPUs paralisadas enquanto esperam pelos dados, taxa de transferência que entra em colapso sob picos e p95 e p99 instáveis. E aqui está a parte que atrapalha os benchmarks: a latência média esconde tudo isso. A inferência de produção é julgada pela cauda, ​​não pela média.

InfiniBand vs RoCE: tabela de resumo para inferência de IA

O que é InfiniBand?

O InfiniBand é uma malha de rede-criada especificamente, projetada desde o início para oferecer baixa latência, alta capacidade e comunicação sem perdas. Não é um tipo mais rápido de Ethernet. Ele vem com seus próprios adaptadores de canal de host, switches, gerenciador de sub-rede, ecossistema de cabeamento e modelo de controle-de congestionamento. Seu valor definidor é o comportamento determinístico: muitas GPUs podem se comunicar com requisitos de tempo rígidos e a malha continua se comportando de forma consistente mesmo quando o tráfego coletivo é intenso.

As plataformas InfiniBand modernas-orientadas por IA ampliam essa base com recursos voltados diretamente para grandes clusters de GPU. A linha Quantum InfiniBand da NVIDIA, por exemplo, adicionaroteamento adaptativo, controle de congestionamento baseado em-computação de rede e telemetria-, que ajudam a malha a distribuir o tráfego de maneira inteligente e a isolar a carga de um locatário da de outro. Para inferência, o InfiniBand ganha seu lugar quando a carga de trabalho não tolera jitter ou quando vários nós de GPU precisam trocar dados de forma rápida e consistente.

As compensações-são custo, concentração do ecossistema e especialização operacional. Uma malha InfiniBand dedicada significa switches, adaptadores, cabos ou módulos ópticos dedicados e engenheiros confortáveis ​​com o gerenciamento de malha InfiniBand. Para uma organização que já administra grandes conjuntos de Ethernet, a utilização de uma malha separada aumenta a complexidade da aquisição, o planejamento-de peças sobressalentes e a sobrecarga de monitoramento.

O que é RoCE (RDMA sobre Ethernet convergente)?

RoCE traz RDMA, movimentação direta de dados de memória-para{1}}memória com baixa sobrecarga de CPU, para redes Ethernet. RoCEv2, a versão usada em data centers modernos, é roteável em redes IP de Camada 3 e foi padronizada peloAssociação Comercial InfiniBand. Essa capacidade de roteamento é o que permite que o RoCE se adapte naturalmente aos projetos de folha{1}}spine Ethernet, ao mesmo tempo em que reutiliza NICs, switches, sistemas ópticos e ferramentas de monitoramento familiares.

O problema é que os transportes RDMA assumem uma rede quase-sem perdas. Descarte um pacote e o transporte volta ao comportamento de retransmissão que destrói a latência final. Portanto, o RoCE precisa que a Ethernet subjacente se comporte como uma malha sem perdas, e isso depende da configuração cuidadosa de dois mecanismos em particular:Controle de fluxo prioritário (IEEE 802.1Qbb), que pausa uma única classe de tráfego para evitar quedas, eNotificação de congestionamento explícita (ECN), que sinaliza o congestionamento antecipadamente para que os remetentes diminuam a velocidade antes que os buffers estourem. Acrescente a isso o gerenciamento de filas, a alocação de buffer e o mapeamento de QoS, e fica claro que RoCE de alto-desempenho não é Ethernet comum.

Bem feito, o RoCE oferece latência e taxa de transferência suficientes para uma ampla variedade de serviços de inferência de produção, e muitas cargas de trabalho de inferência são menos sincronizadas do que o treinamento distribuído, o que funciona a favor do RoCE. Feito de maneira inadequada, ele produz perda de pacotes, bloqueio-de{2}}linha, propagação de congestionamento e caudas instáveis, o que se traduz diretamente na degradação da qualidade do serviço.

Latência InfiniBand vs RoCE: o que é melhor para inferência p99?

Ambas as malhas podem fornecer redes de alta-largura de banda e baixa{1}}latência. Eles diferem na forma como chegam lá. O InfiniBand é determinístico por construção, portanto o jitter permanece baixo mesmo sob carga mista. O RoCE pode combiná-lo para muitas cargas de trabalho, mas o resultado depende da malha Ethernet e de quão bem ela está ajustada.

Do ponto de vista da implantação, o verdadeiro problema na produção raramente é o pico de largura de banda. Há instabilidade em tráfego misto, intermitente e com vários-locatários. Uma malha RoCE que executa um teste de rendimento limpo no estilo iperf- ainda pode perder seu alvo p99 no momento em que microbursts e contenção entram em cena. Essa lacuna entre um benchmark de laboratório e um SLA de produção é onde residem a maioria das surpresas.

InfiniBand tende a ter vantagem quando:

• O serviço tem metas rígidas de latência p99 ou p999.
• A inferência abrange vários nós de GPU com paralelismo de tensor ou pipeline ou usa pré-preenchimento e decodificação desagregados.
• A utilização da GPU é altamente sensível ao atraso da rede, portanto, as paralisações são caras.
• O cluster executa um pequeno número de cargas de trabalho de alta-prioridade, nas quais a previsibilidade supera a flexibilidade.

RoCE geralmente é bom o suficiente quando:

• As solicitações são em sua maioria independentes ou o acoplamento é fraco.
• O trabalho é executado em um nó ou em um pequeno número de nós.
• A capacidade de processamento em lote é mais importante do que a latência ultra{0}}baixa.
• A equipe já opera Ethernet e a flexibilidade de custo ou fornecedor é uma prioridade.
• O cluster oferece suporte a vários locatários ou cargas de trabalho mistas.

Custo RoCE vs InfiniBand: O que realmente impulsiona o TCO?

RoCE é frequentemente chamado de opção mais barata, mas o preço de troca é uma pequena parte do cenário. Uma comparação realista analisa toda a pilha: adaptadores de rede ou HCAs, switches, módulos ópticos, DAC, AOC e cabeamento de fibra, topologia de rack, energia e resfriamento, sistema operacional de rede, monitoramento e telemetria, tempo de engenharia, peças sobressalentes, suporte do fornecedor e o caminho para 400G ou 800G.

O InfiniBand geralmente tem um custo inicial mais alto porque requer uma malha dedicada e componentes especializados. Em ambientes onde o comportamento determinístico é a principal prioridade, ele pode reduzir o esforço de ajuste e solução de problemas exigido por uma malha Ethernet sem perdas. O RoCE reduz o custo de hardware quando um conjunto Ethernet existente, com o suporte correto para Data Center Bridging, pode ser reutilizado, mas transfere o esforço para projetar, validar, monitorar e solucionar problemas da malha sem perdas. Um projeto RoCE de baixo-custo torna-se caro rapidamente se causar latência instável e repetidos combates a incêndios.

Os custos e os riscos concentram-se na camada física à medida que a velocidade aumenta. Em 400G e 800G, a óptica domina tanto o projeto quanto os modos de falha. A maioria das portas-de alta velocidade chegaQSFP-DD ou formatos comparáveis, e combinando o direitoóptica-monomodo ou multimodoao seu alcance real é uma das maneiras mais simples de evitar gastos excessivos em uma malha que não precisa de módulos-de longa distância.

Resumindo: RoCE não é a opção mais barata se sua equipe não tiver experiência em-Ethernet sem perdas. A economia em hardware pode ser consumida rapidamente pelo custo de engenharia para manter a estrutura estável.

Escalabilidade e Operações

A escalabilidade é mais do que a contagem de portas. Inclui a facilidade com que a malha é implantada, monitorada, expandida e recuperada quando algo falha.

O InfiniBand é forte quando o cluster é projetado como uma malha dedicada de alto-desempenho desde o primeiro dia. Ele oferece comportamento consistente em escala, mas espera ferramentas-específicas do InfiniBand, como um gerenciador de sub-rede e gerenciamento de malha unificado, e equipes que estejam confortáveis ​​com os conceitos do InfiniBand. Isso o torna uma opção natural para clusters de IA centralizados construídos em torno de cargas de trabalho de GPU.

O RoCE se encaixa em projetos de data centers Ethernet: topologias leaf{0}}spine, roteamento IP, ECMP e práticas familiares de monitoramento. É exatamente por isso que ele atrai a infraestrutura de GPU no estilo-de nuvem e multi{3}}inquilinos. A disciplina que exige é consistência. PFC, ECN, QoS, gerenciamento de buffer e controle de congestionamento devem ser projetados de forma coerente em todo o caminho, porque uma pequena configuração incorreta em um canto da malha pode espalhar e degradar muitas cargas de trabalho de uma só vez. A camada física também precisa ser dimensionada de forma limpa; alta-densidadeTronco MPO e MTP e cabeamento breakoutmantém uma estrutura de folha-em crescimento gerenciável em vez de transformar cada expansão em um quebra-cabeça de cabeamento.

Vale a pena mencionar o ponto da imagem{0}}espelhada: o InfiniBand é difícil de justificar quando a inferência permanece principalmente dentro de um único nó e a estrutura quase não é exercida.

Qual rede para cada carga de trabalho de inferência

Quando o RoCE é bom o suficiente e quando se torna arriscado

O RoCE é bom o suficiente para solicitações independentes ou fracamente acopladas, trabalho em lote orientado à capacidade-e clusters de vários-locatários onde você pode ajustar o isolamento, especialmente quando a equipe é fluente em Data Center Bridging Ethernet. Torna-se arriscado de maneiras específicas e reconhecíveis:

• Tempestades de PFC.Os quadros de pausa propagam o upstream e congelam o tráfego que não tem nada a ver com o congestionamento original.
• Bloqueio-de{1}}linha.O mapeamento de prioridade grosseira permite que uma classe congestionada atrapalhe outras que compartilham uma fila.
• Desafinação ECN.Marque tarde demais e você receberá gotas; marque de forma muito agressiva e você limitará o rendimento desnecessariamente.
• Congestionamento de microexplosão.As rajadas de segundos{0}}estouram os buffers, mas permanecem invisíveis para monitorar essas amostras com resolução de{1}}segundo.
• Configuração inconsistente.Configurações incompatíveis na folha e na lombada fazem com que o congestionamento se espalhe em vez de permanecer local.

Nada disso é motivo para evitar o RoCE. Esses são motivos para projetar a malha sem perdas de forma coerente de ponta a ponta e para investir em telemetria-refinada e com reconhecimento de microburst-antes de escalar.

Quando o InfiniBand vale a pena e quando você está comprando demais

O InfiniBand vale seu prêmio por alvos rígidos p99 e p999, serviço de vários-nós fortemente acoplados e cargas de trabalho-de missão crítica onde as penalidades de SLA são altas, especialmente em um cluster de GPU dedicado projetado em torno da malha. Você provavelmente está comprando demais quando a inferência permanece dentro de um nó, quando o trabalho é em lote orientado à taxa de transferência, quando você precisa da mesma malha para também transportar armazenamento, gerenciamento e tráfego de nuvem de vários-locatários ou quando você simplesmente não tem capacidade operacional para executar bem o InfiniBand.

Os custos que não aparecem na cotação do switch são reais: concentração do ecossistema, a sobrecarga de execução de uma segunda malha em paralelo com sua rede Ethernet e planejamento separado para peças sobressalentes, óptica e monitoramento.

Como testar InfiniBand vs RoCE antes de escolher

Não decida sobre a reputação do protocolo ou uma folha de especificações. Escolha um benchmark que se assemelhe à produção. Uma sequência prática:

• Defina o SLA em coroa.Defina p50, p95, p99 e p999 para o tempo-até o-primeiro-token e a latência entre-tokens, não apenas uma média.
• Repita o tráfego realista.Use tamanhos de modelo mistos e intermitentes e simultaneidade de vários locatários em vez de um único fluxo limpo.
• Carregue até o congestionamento.Empurre a malha até que ela esteja realmente sustentada e, em seguida, meça a utilização da GPU. Se as GPUs estiverem travando na rede, a malha é o seu gargalo.
• Observe os contadores certos.Rastreie quadros de pausa, marcas ECN, quedas de pacotes, retransmissões, contadores de erros de porta e, em 400G e 800G, erros FEC.
• Valide a camada física.Fibra limpa e instalada corretamente é importante;instalação cuidadosa de fibraevita erros intermitentes e{0}}difíceis de-diagnosticar que os links de alta-velocidade estão propensos.

Se o RoCE mantiver sua meta p99 sob carga realista, contestada e multi{1}}locatário com contadores estáveis, será uma escolha forte e-com boa relação custo-benefício. Se ele passar apenas em testes de fluxo único-limpos, você ainda não testou o que decide seu SLA.

Erros comuns a evitar

• Supondo que toda inferência seja uma rede leve.Algumas inferências são simples e independentes; alguns são distribuídos, sensíveis à latência-e exigem muita largura de banda-. Tratar tudo como algo fácil leva a uma infra-estrutura subconstruída.
• Comparando apenas a latência média.A inferência de produção depende da cauda. Sempre avalie p95, p99 e p999 sob tráfego realista.
• Tratar RoCE como Ethernet plug{0}}and{1}}play.O RoCE de alto-desempenho precisa de design de malha deliberado-sem perdas, controle de congestionamento e observabilidade contínua.
• Escolhendo o InfiniBand apenas porque é mais rápido.A melhor opção de desempenho nem sempre é a melhor opção de negócio. Se a carga de trabalho não precisar de comportamento determinístico, o RoCE poderá oferecer um valor melhor.
• Ignorando a camada física.Em 400G e 800G, a limpeza de cabos, ópticas, conectores e fibras cria erros intermitentes que são difíceis de encontrar e caros de corrigir.

Conclusão

Para inferência de IA, InfiniBand e RoCE são válidos e atendem a prioridades diferentes. Escolha InfiniBand quando precisar da rede de baixa latência-mais consistente para inferência-em tempo real, sensível a SLA-ou fortemente acoplada. Escolha RoCE quando precisar de uma malha escalonável,-baseada em Ethernet e-eficiente em termos de custo para inferência em lote, serviços de GPU multi-locatários, cargas de trabalho RAG e infraestrutura flexível.

A decisão deve começar com a carga de trabalho, o alvo de latência, a escala do cluster, a sua capacidade de operações e o roteiro de atualização, e não com o protocolo. Se o seu cluster precisar manter um p99 estrito sob carga pesada, o InfiniBand merece séria consideração. Se o seu objetivo é dimensionar economicamente a inferência em um data center Ethernet, o RoCE geralmente é o caminho mais prático. De qualquer forma, compare a carga-como a produção antes de confirmar.