Requisitos de cabeamento de data center de IA para 400G/800G

A inteligência artificial está remodelando o design dos data centers. A maior parte da atenção vai para GPUs, aceleradores e resfriamento, mas a camada que decide silenciosamente se o resto da construção será bem-sucedida é o cabeamento. Em um cluster de IA, a camada física determina se você pode realmente alcançar 400G e 800G, se os links de alta-velocidade permanecem limpos o suficiente para passar o tráfego, se o fluxo de ar sobrevive a um rack totalmente preenchido e se seu próximo salto de velocidade é uma troca de cartão ou uma atualização de empilhadeira.

Este guia foi escrito para equipes de infraestrutura e{0}redes ópticas. Ele explica o que torna o cabeamento de IA diferente, os requisitos que importam com números reais, como comparar DAC, AOC e fibra estruturada, um fluxo de trabalho de planejamento passo{2}}a-passo, o que preparar antes de uma migração de 400G ou 800G e uma lista de verificação que você pode realmente usar. As referências técnicas aqui são baseadas nos padrões atuais IEEE 802.3 e ANSI/TIA-942.

Por que as cargas de trabalho de IA alteram os requisitos de cabeamento do data center

Os data centers corporativos tradicionais foram construídos em torno de um tráfego de aplicativos bastante previsível, grande parte dele norte-sul, movendo-se entre usuários, aplicativos e redes externas. Os clusters de IA invertem esse padrão. Durante o treinamento e a inferência em grande-escala, o fluxo dominante é leste{4}}oeste: as GPUs trocam constantemente gradientes e ativações entre si por meio de operações coletivas, como all{5}}reduce, geralmente em uma malha de acesso remoto direto à memória (RDMA).

Isso é visível nos designs de referência do fornecedor. A NVIDIA cria a rede de computação da GPU como uma malha de coluna-baseada em RDMA-usando umTopologia-otimizada por rail para que qualquer GPU esteja no máximo a um salto de qualquer outra, que é o que mantém a comunicação multi{0}}GPU eficiente em escala. A consequência do cabeamento é a simples contagem de portas: um único nó de oito{2}}GPU pode apresentar oito portas leste{5}}oeste de 400G (ou 800G), e um pod de treinamento com vários switches leaf por rack multiplica a fibra de tronco e a aplicação de patches muito rapidamente.

Quando a camada física está sub{0}planejada, os problemas não aparecem no primeiro dia. Eles aparecem mais tarde, como caminhos congestionados que obstruem o fluxo de ar, como isolamento de falhas que leva horas em vez de minutos e como retrabalho durante o primeiro ciclo de atualização. Um detalhe que parece trivial, como uma polaridade MPO invertida ou uma face final contaminada, pode deixar um trilho inteiro off-line. Para a infraestrutura de IA, o cabeamento faz parte da arquitetura desde o início, e não como a última tarefa antes do comissionamento.

Cabeamento de data center pronto para IA-tradicional versus IA

A lacuna entre o cabeamento tradicional e o cabeamento pronto para-IA é uma mudança nas prioridades de projeto, não apenas uma contagem maior de cabos. Os designs tradicionais são otimizados para a conectividade atual; Projetos-prontos para IA são otimizados para migração rápida, densidade, qualidade de link previsível e capacidade de manutenção em vários ciclos de atualização.

O objetivo é uma planta de fibra que possa absorver pelo menos um salto de velocidade e uma expansão de capacidade sem reprojetar.

Principais requisitos de cabeamento para data centers de IA

Planeje a camada física para 400G e 800G, não apenas para a velocidade atual

Os clusters de IA sobem rapidamente na escala de velocidade, de 100G para 400G, 800G e, eventualmente, 1,6T. As interfaces 400G e 800G agora estão formalmente padronizadas:IEEE 802.3df, aprovado em 2024, define o MAC, a camada física e os parâmetros de gerenciamento para Ethernet de 400 Gb/s e 800 Gb/s, incluindo tipos de mídia física como 800GBASE-SR8 e 800GBASE-DR8. Do lado do equipamento, 400G normalmente reside em formatos QSFP-DD ou QSFP112, enquanto 800G usa OSFP ou QSFP-DD800. Se você estiver comparando o empacotamento do transceptor e o mapeamento de pistas, issoVisão geral técnica do QSFP-DDé um ponto de partida útil.

A regra prática: tamanho do tipo de fibra, contagem de fibras e base do conector para que a planta sobreviva ao próximo salto. Um tronco dimensionado apenas para a velocidade de porta atual se torna o gargalo no momento em que o silício e a óptica do switch avançam.

Use fibra MTP/MPO de alta densidade-para conectividade de cluster de GPU-

Links de IA de alta{0}}velocidade são ópticos paralelos, e os ópticos paralelos são mapeados diretamente nas contagens de fibra. Um link DR4 400G-usa quatro pistas, ou oito fibras, normalmente terminadas em uma virola MPO-12. Um link 800G-SR8 ou 800G-DR8 usa oito pistas, ou dezesseis fibras, geralmente um MPO-16 com endfaces APC. Os troncos MTP/MPO de base 8 e base 16 emparelhados com cassetes consolidam centenas desses links por rack e transformam a implantação em movimentos repetíveis e testados na fábrica, em vez de emendas em campo. Pré-terminadoCabos tronco MTP/MPOe os conjuntos de breakout (MPO para LC ou MPO para MPO) são a espinha dorsal desta abordagem.

A densidade ainda precisa ser planejada, não maximizada. Colocar fibra em um rack sem pensar no preenchimento do caminho e no fluxo de ar cria contrapressão-na exaustão do equipamento e impossibilita a manutenção das portas. Defina proporções de preenchimento e regras de gerenciamento-de folga antes, e não depois, da primeira instalação.

Gerenciar perda de inserção, limpeza do conector e polaridade

A óptica de IA de alta-velocidade é menos indulgente do que os links que vieram antes deles. A sinalização PAM4 usada em 400G e 800G funciona com orçamentos de perda de canal mais restritos do que os links NRZ mais antigos, e cada par MPO ou LC acoplado adiciona perda de inserção, geralmente alguns décimos de decibel por conexão. Através de um canal estruturado com vários pontos de conexão e um comprimento de fibra, esse orçamento desaparece rapidamente, portanto a contagem de conectores é uma variável de projeto, e não uma reflexão tardia. Vale a pena entender a distinção entre perda de inserção e perda de retorno, e por que ambas são importantes na óptica paralela, antes de finalizar um canal; este explicador emperda de inserção em redes de fibracobre a mecânica.

A contaminação é uma das principais causas de falhas nos links de campo; portanto, cada face final deve ser inspecionada e limpa antes do acoplamento. A polaridade precisa de um esquema explícito (Método A, B ou C), e links paralelos de-modo único geralmente usam conectores APC angulares para controlar a perda de retorno. O raio de curvatura é importante em painéis densos, onde a fibra-insensível à curvatura compra margem. A confiabilidade aqui é uma disciplina de instalação e manutenção, tanto quanto uma escolha de componentes.

Projetar uma arquitetura de cabeamento estruturado-modular e escalonável

A infraestrutura de IA muda em um ciclo curto, portanto, uma planta difícil de modificar retarda cada implantação futura. O cabeamento estruturado, criado a partir de troncos, cassetes, gabinetes e caminhos definidos, permite que as equipes adicionem capacidade ou re-reposicionem uma malha sem-puxar novamente o cabo.ANSI/TIA-942 especifica os requisitos mínimos de infraestrutura de telecomunicações para data centerse uma topologia de cabeamento destinada a acomodar aplicações futuras, que é exatamente a postura que uma construção de IA precisa. Com essa base, a maioria das atualizações de velocidade torna-se uma questão de troca de ópticas e cassetes, em vez de reconstrução da camada física.

Roteie cabos para fluxo de ar e resfriamento em racks de alta-densidade

Os racks de IA esquentam. A densidade de potência nos racks de GPU mais densos pode exceder 100 kW e, nesses níveis, o cabeamento congestionado causa diretamente recirculação e pontos quentes localizados.A orientação ASHRAE TC 9.9 enquadra o controle térmico ao redor da entrada do equipamento de TI e uma separação limpa de corredor-quente/frio-, e o cabeamento suporta isso ou funciona contra ele. Na prática, isso significa caminhos de fibra aéreos sempre que possível, separação clara de energia e dados, gerenciadores verticais e horizontais dimensionados para a contagem real de cabos, folga disciplinada e roteamento que nunca bloqueia a exaustão traseira ou um gabinete de chaminé. O gerenciamento de cabos que mantém os links rastreáveis ​​também reduz erros humanos durante movimentações e alterações.

DAC, AOC ou fibra estruturada? Uma matriz de seleção de cabeamento de data center de IA

Não existe um meio melhor para um cluster de IA; a escolha certa é motivada pelo alcance e pela função. Dentro de um rack, o cobre-de curto alcance ainda ganha em custo, potência e latência. À medida que os links abrangem linhas e corredores, a fibra-de modo único se torna o backbone escalonável. A matriz abaixo compara as opções comuns da mesma forma que uma revisão de projeto realmente as avalia.

É também por isso que uma afirmação geral como "a fibra é sempre preferida" precisa de uma ressalva: a fibra é a base escalonável para a malha, mas um DAC passivo ainda é a melhor escolha de engenharia para um salto de um{0}}metro dentro de um rack.

Como planejar o cabeamento do data center de IA, passo a passo

Etapa 1: mapear a carga de trabalho de IA e a topologia de rede

Comece com a carga de trabalho. Um grande pod de treinamento, uma frota de inferência de alta{1}}capacidade, um cluster de HPC e uma implantação-de armazenamento intenso não compartilham o mesmo perfil de tráfego. Em seguida, mapeie onde as redes de computação da GPU (leste{4}}oeste), de armazenamento, norte-sul e de gerenciamento-fora-de banda se conectam. Uma implantação de inferência pura pode não precisar de uma grande malha leste{9}}oeste, enquanto um pod de treinamento com vários{10}rracks precisará. Projete de acordo com o fluxo de tráfego real, não apenas a elevação do rack.

Etapa 2: bloquear metas de velocidade atuais e futuras

Defina a primeira fase e a próxima. Se um pod funcionar com 400G hoje e 800G no próximo ano, a planta de fibra deverá ser dimensionada para 800G agora. Além desse horizonte, o trabalho em Ethernet de classe{5}}terabit já está em andamento: oA força-tarefa IEEE P802.3dj está definindo operações de 200 G, 400 G, 800 G e 1,6 Tb/s usando sinalização de 200 Gb/s-por-pista. Saber para onde o roteiro está indo informa quanta contagem de fibras e capacidade de caminho deve ser reservada.

Etapa 3: selecione mídia e conectores com margem

A questão OS2-versus-OM4 é principalmente uma questão de alcance. OM4 é adequado para links folha-espinha abaixo de{8}}100 m, mas o alcance diminui à medida que a velocidade aumenta, portanto, quando os links cruzam linhas ou corredores, ou quando você deseja headroom de 800G DR/FR, o OS2 de modo único é a base mais segura. Revendo olimites de distância de fibra multimodo OM1 a OM5torna a compensação-concreta. Combine a base MPO (12 versus 16) com o mapa de fibra óptica e planeje a polaridade com antecedência; para painéis-de alta densidade, issoGuia de seleção MTP vs MPOcobre as diferenças que importam. Onde a velocidade do transceptor e da porta não estiver alinhada, planeje interrupções (MPO para LC) em vez de improvisar no momento da instalação.

Etapa 4: planejar juntos a densidade, os caminhos e o fluxo de ar do rack

O layout do rack, o roteamento de cabos e a refrigeração são uma decisão em um ambiente de IA de alta{0}densidade, e não três. Antes da instalação, conte quantos cabos entram e saem de cada rack, decida onde ficam os painéis de conexão, planeje a folga e confirme se um técnico pode alcançar e substituir uma porta sem perturbar os links ativos. Deixe espaço de crescimento nas bandejas e nas proporções de preenchimento. Um rack que parece limpo no comissionamento torna-se inutilizável após dois ciclos de atualização se os caminhos foram atingidos no primeiro dia.

Etapa 5: testar, documentar e manter de acordo com as especificações

Teste cada link de acordo com a especificação do projeto, o que para fibra de alta{0}}velocidade significa teste de perda-de inserção, OTDR quando apropriado, verificação de polaridade e inspeção de face final. Documente cada porta, tronco, cassete e caminho, incluindo o esquema de polaridade, comprimento e perda medida, com rótulos que mapeiam-desenhos construídos. A manutenção então se torna rotineira: limpeza das extremidades, auditorias periódicas e controle de etiquetas e alterações. Seguindo o somprática de instalação de cabos de fibra ópticapara puxar a tensão e o raio de curvatura protege o orçamento de perda que você testou.

O que preparar antes de uma migração para 400G ou 800G

As migrações falham na camada física com mais frequência do que na óptica. Antes de cortar, faça o seguinte:

• Confirme o tipo e a contagem da fibra e verifique se o OM4 existente ainda atinge a velocidade desejada, porque a distância suportada diminui à medida que a taxa da linha aumenta.
• Verifique se a base do conector corresponde à nova óptica (MPO-12 versus MPO-16) e se o esquema de polaridade ainda se mantém de ponta a ponta.
• Recalcule o orçamento de perda de link para o PAM4, reduza a contagem de conexões onde for possível e-inspecione novamente cada face final.
• Confirme a capacidade do caminho e da bandeja para o cabeamento adicionado e confirme o espaço térmico do rack para óptica de maior-potência.
• Prepare cassetes, troncos, etiquetas e um plano de teste com antecedência para que a transição seja uma troca-e não uma re-retração.

Erros comuns a evitar

Dimensionando apenas para a largura de banda atual.Uma planta construída para as velocidades atuais data rapidamente. Construa um caminho realista para maior velocidade e maior densidade de portas.

Tratar o gerenciamento de cabos como cosmética.Um cabeamento organizado é útil, mas o gerenciamento é realmente uma questão de fluxo de ar, acesso e isolamento de falhas, não de aparência.

Sacrificar o acesso de manutenção pela densidade.A alta-densidade não é "tão compacta quanto possível". Se um técnico não puder rastrear e substituir uma conexão com segurança, o projeto custará caro durante operações reais.

Comprar componentes isoladamente.Cabos, conectores, painéis, transceptores, racks e caminhos formam um canal. Uma peça que parece barata por si só pode cobrir todo o tecido quando ele escala.

Lista de verificação de preparação de cabeamento-de IA

Trabalhe com isso antes de dimensionar GPUs. Cada item tem uma condição concreta de aprovação, e não um vago sim ou não.

• Altura livre de velocidade:A fibra instalada pode suportar pelo menos um salto de velocidade (por exemplo, 400G a 800G) sem re-puxar e a contagem de fibras é dimensionada de acordo com o mapa de faixa da óptica (oito ou dezesseis fibras)?
• Orçamento de perda:Cada canal de alta-velocidade está dentro da permissão de perda de inserção-do PAM4, com contagem de conexões e inspeção de face final verificadas?
• Densidade versus serviço:Um técnico pode alcançar, rastrear e substituir qualquer porta sem perturbar um trilho energizado?
• Fluxo de ar:Os caminhos mantêm a exaustão traseira e a contenção do corredor desobstruídas e a energia e os dados estão separados?
• Documentação:Cada link é testado e registrado com seu esquema de polaridade, comprimento e perda, e rotulado para corresponder aos-desenhos construídos?
• Escala:A topologia otimizada de folha-spine, rail-se estende para o próximo pod sem um redesenho?
• Ajuste de mídia:O meio de cada link é escolhido por alcance, velocidade, impacto térmico e facilidade de manutenção, com DAC no-rack e OS2 nos corredores?

Se várias respostas forem não, redesenhe a camada física antes da escala das cargas de trabalho de IA, e não após a primeira expansão.

Principais conclusões

As cargas de trabalho de IA estão reescrevendo os requisitos de cabeamento do data center em torno de maior largura de banda, fibra paralela mais densa, orçamentos de perdas reduzidos, roteamento-com reconhecimento de fluxo de ar e ciclos curtos de atualização. A camada física não tornará as GPUs mais rápidas por si só, mas a camada errada limita o desempenho, a confiabilidade e a velocidade de atualização de todo o ambiente.

O princípio de design mais seguro é planejar a planta de fibra, a capacidade do caminho, a arquitetura de patch e o modelo de documentação antes que os racks da GPU cheguem, e não após o primeiro ciclo de expansão. Crie pelo menos um salto de velocidade, escolha a mídia por função e não por hábito e trate a limpeza, a polaridade e o fluxo de ar do conector como-restrições de design de primeira classe. Antes de implantar ou expandir, revise seu cabeamento atual em relação à lista de verificação acima; para cabeamento estruturado e componentes MTP/MPO, explore nossosoluções de fibra óptica.