Spine 100G QSFP28-Design de folha: evite erros de porta

Uma estrutura de folhas-de 100G é uma das maneiras mais confiáveis ​​de conectar servidores de 25G, uplinks de 100G, clusters de armazenamento e cargas de trabalho pesadas do leste-oeste-em um data center moderno. O apelo do QSFP28 é sua flexibilidade: uma única porta pode transportar um link nativo de 100G ou dividir-se em quatro conexões de servidor de 25G, de modo que um switch possa atender tanto a borda de acesso quanto o núcleo da malha.

Mudanças rápidas são a parte fácil. Um projeto 100G vive ou morre com base nas decisões tomadas antes do pedido de compra: como cada porta é alocada, qual é a taxa de excesso de assinatura em condições normais e de falha, quais ópticas correspondem aos cabos reais, quanto calor essas ópticas adicionam e se a malha pode crescer até 400G sem uma atualização de empilhadeira.

Este guia é uma referência-de planejamento neutra em relação ao fornecedor para equipes de rede e infraestrutura. As figuras abaixo seguem as especificações atuais de Ethernet IEEE 802.3 e os contratos relevantes de múltiplas-fontes ópticas, mas cada switch e transceptor tem sua própria folha de dados, portanto, confirme os números exatos do hardware que você compra.

Como ler os exemplos neste guia.Salvo indicação em contrário, eles assumem servidores-de hospedagem única com uma NIC de 25 G cada, 48 portas de host por folha, uplinks de folha-para-spine de 100G, uma malha completa na qual cada folha se conecta a cada coluna e correção de erros de encaminhamento ativada quando a óptica exigir. Homing duplo-, NICs mais rápidas ou contagens de portas diferentes mudarão todos os números a seguir.

O que é uma rede Spine-Leaf 100G?

Spine{0}}leaf é uma arquitetura de data center de dois-níveis criada a partir de switches leaf e switches Spine. Os switches leaf ficam na parte superior de cada rack e fornecem portas-voltadas para o servidor, além de uplinks para a coluna. Os switches Spine formam o backbone de alta-velocidade. Cada folha se conecta a cada coluna, de modo que o tráfego entre os racks se move folha a coluna e a folha ao longo de um caminho de comprimento-igual.

O design é popular porque oferece:

• Comprimento de caminho igual e previsível entre quaisquer dois racks
• Suporte nativo para tráfego intenso leste{0}}oeste
• Todos os uplinks ativos através do ECMP em vez de bloqueados pela árvore geradora
• Escalonamento horizontal simples - adicionar folhas para portas, adicionar espinhos para capacidade

Em uma malha de 100G, os links folha-para{2}}spine são executados a 100G, enquanto as portas voltadas-para o servidor são executadas a 10G, 25G, 50G ou 100G, dependendo da carga de trabalho. Hoje, o acesso 25G com uplinks de 100G é a combinação empresarial mais comum.

Design Físico vs Design Lógico

O "projeto de rede" cobre duas camadas que são fáceis de combinar. Este guia concentra-se na camada física e de capacidade - portas, óptica, excesso de assinaturas, cabeamento - porque é com isso que você se compromete quando compra hardware. Mas a camada lógica decide como a malha encaminha o tráfego e molda diversas escolhas físicas.

No lado físico estão os switches e a seleção de portas, velocidades de NIC, excesso de assinaturas, óptica, cabeamento, energia e resfriamento. No lado lógico está o balanceamento de carga-ECMP entre uplinks; uma sobreposição como VXLAN com um plano de controle EVPN BGP para multi-locatários Camada 2 e Camada 3 sobre uma subcamada roteada; homing duplo-com MLAG ou MC-LAG e LACP na borda de acesso; e dimensionamento-de domínio com falha. Para malhas RDMA, você também precisa projetar uma rede quase-sem perdas, abordada abaixo. Estabeleça o modelo lógico antecipadamente, pois isso afeta as contagens de uplink, quantos espinhos você deseja para a largura do ECMP e se as folhas são implementadas como pares MLAG.

Etapa 1 - Definir velocidade e carga de trabalho do servidor

Comece com a carga de trabalho, não com a óptica. Um cluster de virtualização geral, uma estrutura de armazenamento e um pod de treinamento de IA têm necessidades muito diferentes, e o design correto acompanha o tráfego.

Servidores de 25G com uplinks de 100G

Para a maioria dos ambientes de nuvem empresarial e-privada, o acesso de 25 G com uplinks leaf-to{4}}de 100 G é o ponto ideal: um grande salto em relação ao 10 G, mantendo os custos de NIC, cabo e switch razoáveis. Uma compilação típica combina downlinks de 25 G, uplinks de 100 G e uma proporção de 2:1 a 3:1 para computação geral, com menor excesso de assinaturas reservadas para níveis sensíveis-de armazenamento e latência. Ele se adapta à virtualização, à nuvem privada, às camadas da Web e à maior parte dos data centers corporativos.

100G nativo para armazenamento, IA e HPC

Algumas cargas de trabalho precisam de 100 G nativos para o servidor: armazenamento distribuído e NVMe-oF, IA e treinamento de aprendizado-de máquina, HPC, análise em grande-escala e RDMA de baixa{4}}latência. Aqui, o excesso de assinaturas deve ser baixo - muitas vezes sem-bloqueio ou próximo disso - porque o padrão de tráfego é o problema, não apenas o volume.

Cargas de trabalho de IA, HPC e RDMA geram tráfego denso e sincronizado, todo-para-todo leste-oeste: muitos nós transmitem para muitos nós ao mesmo tempo, portanto, a suavização estatística que economiza em uma malha de virtualização não se aplica mais. O RDMA sobre Ethernet Convergente (RoCE) adiciona uma segunda restrição, porque espera uma malha quase-sem perdas, o que na prática significa Controle de Fluxo Prioritário (PFC) e Notificação de Congestionamento Explícito (ECN) ajustados de ponta a ponta. Uma malha que elimina quadros sob congestionamento observará o colapso do desempenho do RoCE, portanto, esses clusters geralmente são construídos em 1:1 com configuração cuidadosa de buffer e congestionamento.

Etapa 2 - Como calcular portas de switch Leaf e Spine para uma malha 100G

O planejamento portuário começa na folha, não na lombada. Trabalhe fora dos servidores:

1. Contar portas-voltadas para o servidor por rack.
2. Decida se cada um é 25G nativo, 100G nativo ou uma via de fuga.
3. Reserve portas QSFP28 para uplinks de coluna.
4. Adicione portas sobressalentes para crescimento, redundância, teste e substituição.
5. Recalcular o excesso de assinaturas após a atribuição do breakout, não antes.

Contar portas-voltadas para o servidor

Para cada rack, determine a contagem de servidores, a velocidade da NIC, as NICs por servidor, a hospedagem única- ou dupla-e as peças sobressalentes necessárias. Um rack de 48 servidores com uma NIC de 25 G cada precisa de 48 portas de host. Dual-aloja esses servidores em um par folha e a contagem de portas de acesso no par dobra.

Reserve portas de uplink e observe a contagem-dupla

Após as portas do host, reserve as portas QSFP28 para a coluna vertebral. É aqui que se esconde o erro mais comum: se as mesmas portas QSFP28 forem usadas para breakout 4x25G, elas não estarão mais disponíveis como uplinks. O maior erro de planejamento não é contar incorretamente os uplinks de 100G, mas superestimar as portas de uplink que sobraram depois que o rompimento os consumiu. Atribua o rompimento antes da matemática do excesso de assinaturas, ou a proporção que você calculou é ficção.

Um exemplo prático ajuda. Pegue uma folha comum de 1U com 48 portas de host SFP28 e 8 portas QSFP28:

Com seis uplinks transportando 1.200 G de tráfego de acesso, o leaf funciona em 2:1 e duas portas QSFP28 permanecem em reserva. Dê a cada porta uma função única e explícita em uma planilha antes de dimensionar qualquer outra coisa.

Deixe capacidade livre

Não consuma todas as portas no primeiro dia. Reserve espaço para novos servidores, colunas extras, links de teste temporários,-trocas de porta com falha, monitoramento de toques e migração. Um pouco de capacidade não utilizada é muito mais barato do que um redesenho.

Etapa 3 - Calcular assinatura excessiva, incluindo N-1

A assinatura excessiva compara a largura de banda total-voltada para o servidor em uma folha com a largura de banda total de uplink para a coluna:

Proporção de excesso de assinaturas=largura de banda total de downlink / largura de banda total de uplink

Para a folha acima, 48 x 25G=1,200G para baixo e 6 x 100G=600G para cima, dando 1.200 / 600=2:1. Isso significa duas vezes mais largura de banda de acesso teórica do que largura de banda de uplink - geralmente adequada para computação geral, onde os servidores raramente transmitem todos na taxa de linha ao mesmo tempo, mas uma restrição real para armazenamento, IA, HPC e RDMA.

Sempre verifique o caso N-1

Um tecido pode parecer saudável em operação normal e engasgar durante uma falha. Considere uma folha com oito uplinks de 100G espalhados uniformemente por quatro espinhas - duas por espinha, 800G no total, então 1.200G de acesso dá 1,5:1. Perca uma coluna e a folha cai dois uplinks para 600G, aumentando a proporção para 2:1 durante a interrupção. Se sua meta “não for pior que 2:1, mesmo sob falha”, você terá que começar perto de 1,5:1. Calcule a proporção normal e a proporção N-1 após perder uma coluna ou uplink; o segundo número é aquele que morde durante a manutenção.

Intervalos de planejamento por carga de trabalho

Não existe uma proporção universal, portanto, trate os itens a seguir como intervalos de planejamento, não como padrões, e valide em relação ao tráfego medido sempre que possível:

Em um upgrade, revise a utilização atual do uplink, os padrões de pico e leste{0}}oeste, os fluxos de armazenamento e as janelas de backup antes de se comprometer com uma proporção.

Etapa 4 - Escolha óptica e cabos QSFP28

As interfaces QSFP28 100G são padronizadas pelo IEEE 802.3 - oEmenda 802.3bmadicionou 100GBASE-SR4, junto com o-modo único LR4 PHY. Selecione a óptica por distância, tipo de fibra, conector, potência e compatibilidade de switch, e resista ao padrão para o alcance mais longo: o alcance que você não precisa geralmente significa custo e energia que você não precisa. Combine o módulo com a execução com uma margem razoável.

DAC e AOC para links curtos de servidor

Para conexões em-rack e em rack-adjacentes, os cabos de cobre de conexão direta (DAC) QSFP28 e os cabos ópticos ativos (AOC) são práticos. O DAC passivo atende aos saltos mais curtos - alguns metros - com menor custo e potência, enquanto o AOC amplia o alcance e é mais leve e flexível onde o volume de cobre se torna um problema. Para acesso 25G, DAC ou AOC de breakout QSFP28 a 4x SFP28 é comum quando o switch suporta breakout.

100GBASE-SR4 para uplinks multimodo curtos

SR4 transporta 100Goito fibras de multimodo paralelousando um conector MPO/MTP, o que o torna uma escolha-eficiente em termos de custo para execuções curtas de folha-a-espinha dentro de uma linha. Seu alcance depende do grau da fibra - aproximadamente 70 m no OM3 e 100 m no OM4 - então vale a pena saber o alcance que você pode esperarFibra multimodo OM3, OM4 e OM5no seu chão. A principal restrição de planejamento é o cabeamento paralelo: a correção e a polaridade do MPO devem ser definidas antecipadamente.

CWDM4 ou FR para modo único-percorre até cerca de 2 km

Para links entre-fileiras, entre-salas ou entre-halls, ópticas de-modo único, como CWDM4 ou FR, são mais adequadas. O100G CWDM4MSAdefine um alcance de 2 km em um único par de fibras-monomodo com um conector LC duplex e FEC. Como eles usam fibra duplex em vez de MPO paralelo, as ópticas CWDM4 e FR geralmente caem em uma planta de{4}modo único de forma mais limpa do que SR4 - e nessas distâncias a escolha entreFibra monomodo OS1 e OS2-começa a importar para o seu orçamento de perdas. Variantes mais curtas-de modo único, como DR, cobrem aproximadamente 500 m, onde isso é tudo que você precisa.

100GBASE-LR4 para campus e DCI

LR4 é a opção-de longo alcance, transportando 100Gaté cerca de 10 km em fibra monomodo-duplexpara campus, links de interconexão-de{1}}edifício ou-centro de dados-. Use-o apenas onde a distância realmente exigir; a óptica de-alcance longo em saltos curtos dentro-dados- simplesmente adiciona custo, energia e calor sem melhorar a estrutura.

QSFP28 100Comparação óptica G

A tabela resume onde cada opção se encaixa. Trate os alcances como números típicos de planejamento e confirme os números exatos, o grau de fibra e os requisitos FEC na folha de dados de cada módulo.

Exemplos trabalhados: tecidos pequenos, médios e grandes

Estes são modelos de planejamento simplificados, não projetos. A contagem de espinhos geralmente é escolhida para dividir os uplinks uniformemente e definir a largura do ECMP: dois espinhos são o mínimo prático para redundância, quatro proporcionam granularidade N-1 mais fina e melhor distribuição de carga, e oito são adequados para tecidos grandes. A contagem de folhas é dimensionada de acordo com as portas do servidor necessárias.

Tecido pequeno

• interruptores de 8 folhas
• 2 interruptores de coluna
• 48 portas de servidor 25G por folha
• 4 uplinks de 100G por folha
• 384 portas de servidor-de hospedagem única 25G

Por folha: 1.200G para baixo, 400G para cima, então 3:1. Viável para computação geral, mas restrito para armazenamento pesado ou IA. Adicione uplinks ou corte o acesso por folha se precisar de uma proporção mais baixa.

Tecido médio

• interruptores de 16 folhas
• 4 interruptores de coluna
• 48 portas de servidor 25G por folha
• 6 uplinks de 100G por folha
• 768 portas de servidor-com hospedagem única de 25G

Por folha: 1.200G para baixo, 600G para cima, então 2:1. Um equilíbrio sólido para virtualização e cargas de trabalho empresariais, e quatro pilares distribuem o ECMP melhor do que dois.

Tecido grande

• interruptores de 32 folhas
• 8 interruptores de coluna
• 48 portas de servidor 25G por folha
• 8 uplinks de 100G por folha
• 1.536 portas de servidor-de hospedagem única 25G

Por folha: 1.200G para baixo, 800G para cima, então 1,5:1. Mais espaço para uplink, mas mais óptica, fibra, custo, energia e cabeamento para gerenciar. Nessa escala, a documentação faz parte do projeto: rotulagem, mapas de portas, polaridade, óptica sobressalente, fluxo de ar e monitoramento, todos devem ser planejados antes da instalação.

Planejamento de divisão QSFP28 (100G a 4x25G)

Breakout é a parte mais útil e mais incompreendida do design do QSFP28. Onde o switch, o cabo e a configuração permitirem, uma porta QSFP28 se divide em quatro links SFP28 de 25G, conectando quatro servidores de 25G a partir de uma única porta de 100G. Ele ganha seu lugar quando você precisa de alta densidade de 25G, tem muitas portas QSFP28, deseja reduzir o custo por conexão de servidor ou está construindo uma malha de transição 25G/100G, usando QSFP28 a 4x SFP28 DAC, AOC ouCabos breakout MTP/MPOdependendo da distância.

O problema é que o breakout consome portas QSFP28. Se um switch QSFP28 de 32-portas dedica 16 portas para breakout 4x25G, essas 16 portas suportam 64 servidores - mas apenas 16 portas QSFP28 permanecem para uplinks, armazenamento, interconexões e peças sobressalentes. A regra geral é contar primeiro as portas de breakout e depois contar o que resta para os uplinks.

Antes de se comprometer, confirme algumas coisas e decida antecipadamente se cada execução deve ser umatronco ou um conjunto breakout:

• Quais portas são compatíveis com breakout e há restrições-de grupos de portas?
• A ativação do breakout desativa as portas adjacentes?
• O sistema operacional do switch suporta o modo que você precisa?
• DAC, AOC ou óptica de breakout para cada execução?
• Todas as quatro faixas são necessárias agora ou só mais tarde?
• Como o avanço afetará uma mudança futura para servidores 100G nativos?

Energia, resfriamento e gerenciamento de cabos

Uma malha 100G produz mais do que largura de banda - ela produz calor, carga de fluxo de ar e densidade de cabo. O orçamento de energia deve cobrir chassis e ventiladores de switch, módulos ópticos QSFP28 (e DAC ou AOC quando usados), suprimentos redundantes, capacidade-de rack e margem de crescimento. O resfriamento deve levar em conta o layout- dos corredores quentes- e frios-, fluxo de ar consistente da frente-para-traseira ou traseira-para-frontal, painéis cegos, obstrução de cabos, temperatura ambiente e monitoramento de temperatura-do módulo, porque uma coluna repleta de óptica é uma carga térmica real.

O cabeamento é dimensionado rapidamente: 16 folhas para 4 colunas já equivalem a 64 links de folha-a-espinha, cada um dos quais deve ser rotulado, roteado, testado e documentado. Uma malha-de malha completa é muito mais fácil de construir e manter com pré--terminadosCabeamento tronco MPO/MTPdo que com fibra-terminada em campo. As equipes também devem definir antecipadamente as convenções de conector e polaridade; odiferenças práticas entre MTP e MPOvale a pena confirmar antes de fazer o pedido. A documentação desleixada não custa nada no primeiro dia e custa muito durante a primeira interrupção.

Projetando para uma atualização 400G

Projete o tecido com um caminho de atualização realista. Você não precisa de 400G em todos os lugares no primeiro dia, mas deve evitar escolhas que tornem a mudança dolorosa mais tarde. Comece a pensar na prontidão de 400G quando os uplinks de coluna já estiverem muito carregados, quando a adição de mais colunas de 100G estiver ficando complicada, quando a contagem de caminhos ECMP estiver se aproximando dos limites da plataforma ou quando a IA, o armazenamento ou o crescimento leste{5}}oeste estiver acelerando.

A estratégia usual é atualizar a coluna primeiro: as folhas mantêm seus uplinks de 100G enquanto uma coluna de-capacidade mais alta - usando portas comoQSFP-DD- adiciona espaço livre, geralmente com portas 400G se transformando em 4x100G em direção às folhas existentes. A trajetória mais ampla é definida pela indústria: oRoteiro da Aliança Ethernetagora funciona em 400G, 800G e além, em grande parte impulsionado pela IA. Ao avaliar os switches, verifique se a plataforma suporta as velocidades, a óptica, os modos de breakout e os recursos de software necessários para uma atualização em fases.

Quando um design de folha com lombada de 100G-não é a escolha certa

Este design não é universal e alguns casos exigem outra coisa. Um punhado de servidores em um ou dois racks raramente justifica uma construção completa-de folha, onde um par de switches redundantes é mais simples e barato. Clusters de treinamento de IA muito grandes podem superar o que um acesso de 100G e uma malha de coluna de 100G lidam bem, chegando a malhas de 400G ou 800G - ou até mesmo a uma rede InfiniBand dedicada - desde o início. E se quase todo o tráfego for norte-sul para um gateway, em vez de leste{11}}oeste entre racks, as vantagens leste{12}}oeste da folha espinhal-são menos importantes, portanto, a topologia deve ser justificada por motivos operacionais e de crescimento, e não presumida. Combine a arquitetura com o tráfego e a escala, e não o contrário.

Erros comuns no design da lombada 100G-

• Contando as portas QSFP28 duas vezes.Uma porta é um breakout de 4x25G ou um uplink de 100G, nunca ambos. Dê a cada porta uma função.
• Escolhendo óptica pelo alcance máximo.Alcance mais longo acrescenta custo e poder; combine a óptica com a distância e o tipo reais da fibra.
• Ignorando N-1.Verifique a proporção durante a operação normal e após perder uma coluna.
• Esquecendo a potência óptica e o calor.Uma coluna cheia de módulos QSFP28 é uma carga térmica genuína, portanto inclua a óptica na matemática de energia e resfriamento.
• Tratar o cabeamento como uma reflexão tardia.Roteamento, rotulagem, polaridade e documentação pertencem ao projeto, não à instalação.
• Projetando apenas para a velocidade atual do servidor.Se o acesso 25G mudar para 100G, deixe espaço para 100G nativo ou 400G.

Conclusão

Um bom design de coluna-de 100G é a soma das decisões tomadas antes da chegada do hardware: definir a carga de trabalho, contar as portas corretamente, calcular o excesso de assinaturas em condições normais e de falha, escolher a óptica por distância, planejar a interrupção deliberadamente, orçar energia e resfriamento e deixar espaço para 400G. Para a maioria dos data centers empresariais, o acesso 25G com uplinks 100G QSFP28 continua sendo um forte equilíbrio entre desempenho, custo e escala, enquanto o armazenamento, a IA e a HPC simplesmente exigem menor excesso de assinaturas e validação mais rigorosa. A abordagem confiável não muda: projete do servidor para fora, comprove a matemática sob condições normais e N-1 e documente cada link antes da implantação.