NIC 400G vs 800G: qual você deve escolher?

Escolher entre uma NIC 400G e uma NIC 800G é uma decisão de estrutura, não uma comparação de páginas-de checkout. O adaptador mais rápido só compensa quando o servidor, o switch, a óptica e o cabeamento podem transportar essa velocidade de ponta a ponta. Este guia analisa a compensação-do ponto de vista de implantação e aquisição, para que você possa decidir antes de comprometer o orçamento com adaptadores, switches, transceptores, DACs, AOCs, AECs ou fibra.

A versão resumida: uma NIC de 400G é o padrão maduro e{1}}com boa relação custo-benefício para a maioria das cargas de trabalho atuais de IA, HPC, armazenamento e nuvem, e é mapeada de forma limpa para hosts NDR InfiniBand e PCIe Gen5. Uma NIC 800G ganha seu prêmio quando você cria uma estrutura de IA de próxima{5}}geração com GPUs mais densas, tráfego leste{6}}oeste mais pesado e um roteiro para XDR InfiniBand, Ethernet 800G e, eventualmente, 1.6T.

Placa de rede 400G versus 800G

Escolha uma NIC 400G quando seus servidores, switches e instalações ópticas já estiverem padronizados em Ethernet 400G ou NDR InfiniBand, ou quando a carga de trabalho não saturar cada caminho de GPU-a-GPU. É também a chamada mais segura quando a disponibilidade, o orçamento e o tempo de qualificação são mais importantes do que a velocidade máxima da porta.

Escolha uma NIC 800G quando a rede estiver se tornando um gargalo para treinamento em grande-escala, servidores GPU de alta-densidade ou aceleradores de{3}}próxima geração. Ele reduz aproximadamente pela metade o número de links e módulos ópticos necessários para uma determinada quantidade de largura de banda e prepara a estrutura para a próxima atualização.

Só vale a pena comprar uma porta 800G quando o resto do sistema puder alimentá-la. Se o host não puder expor pistas PCIe suficientes ao adaptador, uma NIC 800G se tornará uma porta cara e subutilizada, em vez de uma atualização de desempenho.

O que é uma placa de rede 400G?

Uma NIC 400G é um adaptador de rede que move até 400 gigabits por segundo por porta. Em ambientes de IA e HPC, ele lida com redes de cluster-de GPU, treinamento distribuído, acesso de armazenamento, tráfego MPI, malhas RoCE e links NDR InfiniBand. Para a maioria das operadoras, 400G já representa um grande salto em relação a 100G ou 200G e elimina os gargalos óbvios sem forçar uma reformulação dos servidores e das camadas de switch.

Onde as NICs 400G se encaixam hoje

Adaptadores 400G são o padrão de funcionamento em clusters de treinamento de IA em GPUs de{1}}geração atual, HPC e malhas de computação-científica, redes de armazenamento de alto-desempenho, malhas RoCEv2 Ethernet e InfiniBand, frotas gerais de servidores em nuvem e atualizações de 100G/200G-a-400G em salas de geração mista. Nessas configurações, 400G raramente é um compromisso. É simplesmente a classe de velocidade certa quando o tamanho do cluster, a contagem de GPU e o orçamento não justificam a complexidade adicional de 800G.

Por que 400G ainda faz sentido

A seleção da NIC é um problema de-equilíbrio do sistema. Se um host não puder alimentar um adaptador de 800G, se a carga de trabalho estiver vinculada à computação- ou ao armazenamento-ou se a coluna ainda for de 400G, a redução de NICs de 800G aumentará o custo sem alterar o desempenho do aplicativo. Uma estrutura 400G bem-construída, com baixo excesso de assinaturas, uma topologia limpa, RDMA, óptica de qualidade e controle de congestionamento ajustado, ainda executa confortavelmente trabalhos exigentes de IA e HPC.

O que é uma placa de rede 800G?

Uma NIC 800G oferece até 800 gigabits por segundo por porta. Ele tem como alvo data centers de IA da próxima-geração, grandes clusters de GPU e malhas de hiperescala onde a demanda de comunicação está ultrapassando as redes de servidores convencionais. A geração 800G agora está padronizada:o padrão IEEE 802.3df, ratificado em 2024, define Ethernet de 800 Gigabit e suporta sub{1}}taxas como 1x800G, 2x400G e 8x100G, o que torna prática a migração-de velocidades mistas.

O valor não é apenas a taxa de título duplicada. 800G permite que os arquitetos aumentem a densidade da largura de banda, reduzam a contagem de links e módulos e ofereçam suporte a malhas de treinamento maiores com tráfego mais agressivo-para{2}}todos.

Por que os clusters de IA estão migrando para 800G

O treinamento-de modelos grandes gera enorme tráfego de GPU-para-GPU e de servidor-para{4}}servidor. Troca de gradiente,-redução total, mistura-de-roteamento especializado, pontos de verificação e pipelines pesados ​​de armazenamento-, todos martelam a estrutura. À medida que os aceleradores ficam mais rápidos, a rede precisa acompanhar o ritmo ou GPUs caras ficam ociosas aguardando a sincronização. 800As G NICs respondem a isso aumentando a largura de banda por nó, por acelerador ou por trilho de rede.

800G é uma decisão de tecido, não apenas um adaptador

A mudança para 800G remodela a seleção de switches, a óptica, o planejamento de alcance, o design térmico, o fluxo de ar e o layout do rack. As opções ópticas e de cobre, em particular, ficam mais rigorosas: uma porta 800G pode usar um módulo OSFP ou QSFP-DD, e os módulos do lado-do switch e do lado NIC-podem diferir no design térmico e mecânico, mesmo na mesma taxa. Se sua planta usa fibra estruturada, confirme antecipadamente os tipos de módulos e conectores; nossovisão geral do formato QSFP-DDcobre onde ele se encaixa em relação ao OSFP. Trate o 800G como um programa em nível de-estrutura, e não como uma troca de-item de linha única.

Placa de rede 400G versus placa de rede 800G

Quando escolher uma NIC 400G

Escolha uma NIC 400G quando o objetivo for uma rede de alto-desempenho com hardware maduro, implantação previsível e custos controlados.

Você está aproveitando a infraestrutura 400G existente

Se seus switches, cabos, ópticas e plataformas de servidor já estão padronizados em 400G, permanecer com NICs 400G elimina uma rodada de verificações de compatibilidade e permite reutilizar a maior parte do ecossistema atual. Isto é especialmente verdadeiro ao atualizar de 100G ou 200G, onde o ganho de desempenho é grande e o ecossistema é muito mais maduro do que 800G.

Sua carga de trabalho de IA não satura a estrutura

Nem todo trabalho de IA precisa de 800G por servidor. Muitos são vinculados à computação-, ao armazenamento-, à memória-ou limitados pela eficiência do software, e não pela largura de banda da rede. Se o perfil mostrar que a rede não é o principal gargalo, uma NIC 400G geralmente oferece o melhor retorno.

Você precisa de HPC-com boa relação custo-benefício

Muitas cargas de trabalho de HPC são sensíveis à latência, ao comportamento de{0}passagem de mensagens e ao congestionamento da malha, em vez da largura de banda bruta. Uma malha 400G bem-ajustada geralmente supera uma malha 800G mal integrada. A questão útil não é qual NIC é mais rápida, mas qual projeto de rede oferece o melhor desempenho de aplicativo por dólar.

Você precisa de aquisições mais rápidas e-com menor risco

Adaptadores, óticas e cabos 400G são mais fáceis de adquirir e qualificar em mais plataformas de servidores e switches. Quando a equipe tem tempo limitado para validação, 400G é a opção de-risco mais baixo e ainda elimina a maioria dos gargalos.

Quando escolher uma NIC 800G

Escolha uma NIC 800G quando o aplicativo, a plataforma GPU e a malha puderem realmente usar a largura de banda adicional.

Você está projetando uma estrutura de treinamento de IA de{0}próxima geração

Grandes clusters de treinamento geram comunicação pesada entre todos-para-todos e leste{2}}oeste. À medida que o tamanho do modelo, a contagem de GPUs e o paralelismo aumentam, a rede se torna o limitador. Aqui, NICs de 800G aumentam a largura de banda por{6}}nó e reduzem o risco de a malha limitar as GPUs.

Você precisa de maior densidade de largura de banda

O 800G reduz o número de portas, links e módulos necessários para fornecer uma determinada quantidade de largura de banda. Isso é importante em clusters densos onde o espaço do rack, a contagem de portas do-painel frontal, o gerenciamento de cabos e a base do switch são todos limitados. Menos links e mais rápidos podem simplificar a construção, desde que a estrutura do switch e o plano de cabeamento sejam projetados para isso.

Você está planejando plataformas de GPU de{0}próxima geração

Se o roteiro incluir servidores GPU de próxima{0}}geração, maior densidade de potência de rack, refrigeração líquida e clusters maiores, 800G será a decisão estratégica mais forte. Comprar 400G hoje ainda pode ser razoável, mas a estrutura deve ser projetada com um caminho de migração para 800G ou superior.

Você deseja reduzir interrupções-de longo prazo na atualização

Uma estratégia 800G faseada reduz os problemas de migração futura. Implante switches com capacidade-de 800G primeiro, conecte NICs de 400G existentes por meio de designs de velocidade breakout ou mista-e, depois, atualize os servidores para 800G. Isto protege o investimento atual enquanto prepara o tecido para a próxima geração.

Quando NÃO escolher uma NIC 800G

Esta é muitas vezes a pergunta mais útil e filtra as compras mais lamentadas. Aguarde 800G quando qualquer uma das seguintes situações for verdadeira:

• O host não pode expor um caminho x16 de classe PCIe Gen6 completo para o adaptador. A porta funcionará sem energia e você terá pago pela largura de banda que o barramento do servidor não pode fornecer.
• A coluna está com excesso de assinatura ou ainda 400G. Uma NIC mais rápida não corrige uma malha restrita; apenas move o gargalo para um salto de distância.
• A carga de trabalho é vinculada à latência- ou ao MPI-em vez da largura de banda-. A taxa de transferência extra faz pouco para tarefas controladas por sincronização ou comportamento de{4}mensagens pequenas.
• Ótica, cabeamento ou resfriamento para 800G não podem ser adquiridos e validados em seu cronograma. Um módulo não qualificado que oscila sob carga é pior do que um link mais lento que permanece ativo.
• Não existe um roteiro de crescimento concreto que justifique o prémio hoje.

Se dois ou mais destes se aplicarem, 400G é quase certamente a resposta certa para esta construção, com 800G reservado para a próxima atualização.

NIC 400G vs 800G para data centers em nuvem

Os tecidos de nuvem raramente funcionam na mesma velocidade em todos os lugares. Eles segmentam por classe de tráfego e a escolha da NIC segue o segmento e não o data center como um todo.

• Tráfego frontal-/norte{1}}sul:400G geralmente é suficiente para níveis-de API e de usuário, onde a largura de banda por{2}}fluxo é modesta e a contagem de conexões domina.
• Armazenamento e tráfego leste{0}}oeste:a resposta depende de quão desagregada é a arquitetura. 400G cobre a maioria dos pools gerais; O 800G ajuda onde o armazenamento grande e distribuído impulsiona a carga leste-oeste.
• Inferência de IA:400G é suficiente para muitas nuvens de inferência, enquanto 800G é adequado para uma mistura densa-de-roteamento especializado ou serviço desagregado onde os tokens se movem através de muitos nós.
• Estrutura multi-locatária:aqui, a taxa de excesso de assinaturas e o isolamento do locatário moldam o desempenho muito mais do que a taxa máxima de NIC. Um tecido 400G balanceado com forte isolamento geralmente supera um tecido mais rápido, mas congestionado.

Como o crescimento leste{0}}oeste da nuvem depende da fibra estruturada, planeje o cabeamento tronco junto com a NIC; nossoguia para cabeamento tronco MPO/MTPabrange execuções de alta-densidade. Como regra geral, use 400G para a maioria dos níveis de front-end e de nuvem geral e reserve 800G para os segmentos onde o serviço denso de IA ou grandes pools leste{5}}oeste dominam.

Principais fatores de seleção além da velocidade da porta

Uma NIC mais rápida não garante cargas de trabalho mais rápidas, a menos que toda a plataforma a suporte. Cinco fatores decidem se uma porta 800G funciona ou fica ociosa.

Geração PCIe e largura de banda do host

A NIC chega ao host através do PCIe, e esse link é um teto rígido. Uma porta de 400 Gb/s precisa de aproximadamente 50 GB/s por direção, que um slot PCIe Gen5 x16, com cerca de 63 GB/s utilizáveis ​​por direção, pode transportar. Uma porta de 800 Gb/s precisa de aproximadamente 100 GB/s por direção, além de um slot Gen5 x16, e é por isso que os adaptadores 800G geralmente esperama especificação PCIe 6.0 da PCI-SIG(64 GT/s, até 256 GB/s bidirecionalmente em x16) ou um design x32 incomum. Antes de se comprometer com 800G, confirme:

• Geração PCIe
• Contagem de pistas e fiação de slots
• Posicionamento NUMA e caminho da GPU-para-NIC
• Validação do-fornecedor do servidor para o adaptador
• Suporte a BIOS e firmware

Em servidores GPU, o posicionamento da NIC em relação às CPUs e GPUs decide a forma como os dados são movidos de maneira limpa. Uma NIC de classe-Gen6 colocada em um slot Gen5 x8 é o gargalo autoinfligido mais comum no campo.

Trocar Fabric e Excesso de Assinaturas

A velocidade da NIC precisa corresponder à malha{0}}Os adaptadores G não fazem nada se a coluna-de folha estiver com excesso de assinaturas ou os uplinks forem finos. Verifique as velocidades das portas folha e espinha, a taxa de excesso de assinaturas, o número de trilhos da rede, o padrão leste{3}}oeste, o design do domínio-de falha e a largura de banda de bissecção necessária. Para treinamento, uma taxa de excesso de assinaturas menor geralmente contribui mais para o desempenho do que uma NIC mais rápida.

RoCE, InfiniBand e Ultra Ethernet

As malhas de IA e HPC contam com RDMA para reduzir a sobrecarga da CPU, e o protocolo molda a NIC, o switch, o controle de congestionamento e as operações. Hoje, o NDR InfiniBand funciona a 400 Gb/s por porta eXDR InfiniBand atinge 800 Gb/s por porta, que se alinha diretamente com as camadas NIC 400G e 800G. No lado Ethernet, o

Especificação 1.0 do Ultra Ethernet Consortiumdefine uma pilha RDMA-sobre-Ethernet que abrange NICs, switches, sistemas ópticos e cabeamento, voltada diretamente para a escalabilidade horizontal-de IA e HPC.

Escolha o InfiniBand para obter uma estrutura de HPC ou IA totalmente integrada e de baixa{0}}latência quando sua equipe conhece esse ecossistema. Escolha Ethernet ou RoCE para uma escolha mais ampla de fornecedores e integração na nuvem. Considere a Ultra Ethernet quando quiser um caminho aberto e padronizado para Ethernet de-alta geração-de alto desempenho da próxima geração.

Óptica, fatores de forma e cabeamento

Em 400G e 800G, a compatibilidade física é tão importante quanto a taxa. Dois módulos podem compartilhar a mesma velocidade, mas diferem em formato, design térmico e requisitos de host. Verifique OSFP versus QSFP112 versus QSFP-DD, requisitos de módulo lateral plano-superior versus aletado-OSFP superior, switch-lateral versus NIC-, DAC, AEC, AOC ou alcance óptico, suporte de breakout e codificação e firmware do fornecedor. Não presuma que um OSFP 800G que funciona em um switch irá assentar e resfriar corretamente em uma NIC; muitos módulos de switch e NIC usam diferentes designs térmicos e mecânicos.

Potência, fluxo de ar e validação térmica

Os componentes 800G consomem mais energia e funcionam mais quentes. Valide a NIC, a óptica, as portas do switch e o caminho do fluxo de ar sob carga sustentada, e não em modo inativo. Confirme a potência da NIC e do módulo-óptico, a direção do fluxo de ar e a altura livre de resfriamento, a temperatura máxima de entrada, a densidade do cabo e o bloqueio do fluxo de ar, além das suposições de resfriamento- por ar- versus líquido-. A instabilidade térmica aparece como oscilações de link e taxas de erro crescentes, o tipo de falha intermitente cuja detecção na produção é lenta e cara.

Erros comuns a evitar

Comprando 800G só porque é mais rápido

800G não é automaticamente melhor. Se a carga de trabalho, o servidor ou a malha não puderem usar a largura de banda, o custo extra não se transformará em desempenho do aplicativo. Combine a porta com o gargalo que você realmente possui.

Ignorando a largura de banda PCIe

Uma NIC só pode mover dados na velocidade permitida pelo barramento do host. Verifique a geração do PCIe, a contagem de pistas e a topologia do servidor antes de escolher uma classe de velocidade, e não depois que o hardware chegar.

Escolhendo o módulo óptico errado

Nessas taxas, o formato do módulo e o design térmico são críticos. Uma variante errada do OSFP pode não caber em uma determinada gaiola ou pode caber, mas superaquecer sob tráfego sustentado, produzindo erros que parecem um problema de estrutura.

Esquecendo o alcance do cabo

DAC, AEC, AOC, óptica multimodo e óptica de{0}modo único atendem a diferentes faixas de distância, e diferentes graus de fibra transportam distâncias diferentes; nossodetalhamento dos limites de alcance de OM1 a OM5mostra onde cada nota termina. Escolher a interconexão errada aumenta latência, custo ou retrabalho.

Tratando NICs, switches e ópticas como compras separadas

Solicite o adaptador, o switch, o sistema óptico e o cabeamento como uma lista de materiais validada. Uma incompatibilidade descoberta após a implantação significa uma porta que vincula, mas oscila, ou hardware que precisa ser retornado no meio da-construção, o que é muito mais perturbador do que detectá-lo durante a qualificação.

Recomendação Final

Escolha uma NIC 400G para obter um adaptador-comprovado e econômico que se adapta às estruturas atuais de IA, HPC, armazenamento e nuvem. É a escolha prática para a maioria dos clusters de GPU existentes e salas de geração-mista. Escolha uma NIC 800G quando a densidade da largura de banda, a comunicação de GPU em grande-escala e a prontidão para atualização superarem o custo inicial e quando todo o caminho for criado para isso.

A decisão nunca é apenas a velocidade. A questão é se seus servidores, switches, sistemas ópticos, cabeamento, energia e resfriamento podem transformar essa velocidade em desempenho de aplicativos. A disciplina que protege o orçamento é simples: valide a NIC, o switch, a óptica e o cabeamento como um sistema antes de fazer o pedido.