Moduli ottici 400G nelle reti moderne

 

Le guerre sul fattore forma che nessuno ha vinto

 

QSFP-DD e OSFP sono emersi dal processo di standardizzazione come due fratelli che non riuscivano a mettersi d'accordo su nulla tranne che entrambi volevano 400G. L’industria aveva bisogno di otto corsie elettriche da 50 Gbps ciascuna e due diversi consorzi hanno deciso di risolvere il problema in due modi diversi.

QSFP-DD ha vinto la discussione sulla compatibilità. Si adatta alle gabbie QSFP28 esistenti se strizzi gli occhi abbastanza forte e non ti preoccupi della seconda fila di birilli. La compatibilità con le versioni precedenti è importante quando si hanno decine di migliaia di porti distribuiti e un CFO che pone domande mirate sulle risorse bloccate.

L'OSFP ha vinto la disputa termica. L'alloggiamento leggermente più grande e il dissipatore di calore integrato consentono di dissipare effettivamente i 15-20 watt assorbiti da questi moduli senza bruciare le porte adiacenti. Ho visto schede di linea in cui le porte QSFP-DD angolari sono costantemente più calde di 8 gradi rispetto a quelle centrali perché il design del flusso d'aria presupponeva inviluppi di potenza di 100G.

Nessuno dei due ha vinto veramente. La maggior parte degli hyperscaler ha scelto QSFP-DD per la semplicità dell'inventario. La maggior parte delle implementazioni di telecomunicazioni sono passate all'OSFP perché i loro moduli coerenti necessitavano di un margine termico. Tutti gli altri hanno scelto qualunque cosa il loro fornitore di switch avesse spedito e se ne sono andati.

La variante QSFP112 merita di essere menzionata perché confonde tutti. Quattro corsie da 100G ciascuna-stesso aggregato da 400G, meno corsie, SerDes più recente. Per la connettività NIC è importante il punto in cui desideri collegamenti da server-a-TOR senza la complessità del cambio DSP. Ha meno importanza di quanto i venditori affermino altrove.

 

PAM4 ha cambiato tutto (e ha rotto alcune cose)

 

Ecco cosa nessuno spiega adeguatamente quando ti vendono su 400G: la segnalazione PAM4 scambia l'immunità al rumore con l'efficienza della larghezza di banda e questo compromesso non è gratuito.

La codifica NRZ utilizzava due livelli di segnale. Alto o basso. Uno o zero. Il tuo ricevitore doveva solo distinguere tra questi due stati e il diagramma a occhio ti dava margini confortevoli. PAM4 utilizza quattro livelli-00, 01, 10, 11-il che significa che il ricevitore ora deve distinguere tra tre superamenti della soglia con un terzo della separazione di tensione. La penalità SNR teorica di 9,54 dB non è affatto teorica. Si presenta nei tuoi contatori BER pre-FEC ogni singolo giorno.

Il DSP all'interno di un modulo 400G fa un lavoro eroico compensando questo problema. Equalizzazione feed{2}}forward, equalizzazione feedback delle decisioni, ripristino orologio e dati-tutti eseguiti a 53,125 GBaud per corsia. Quando funziona, è invisibile. Quando non funziona, si verificano esplosioni di errori correggibili intervallati da errori occasionali non correggibili e buona fortuna per capire se il problema è il modulo, la fibra, l'host o la radiazione cosmica di fondo.

 

 

Varianti di lunghezza d'onda: più che semplice portata

 

Le specifiche di portata raccontano solo una parte della storia.

400G-SR8 utilizza VCSEL da 850 nm su otto fibre parallele, mirando a 100 metri su OM4. È economico. È multimodale. Richiede un connettore MPO-16 con otto fibre TX e otto RX. All'interno di un rack o tra rack adiacenti, funziona correttamente. Nel momento in cui qualcuno chiede di portarlo "solo un po' più lontano", ricordagli che la dispersione modale a 850 miglia nautiche non è negoziabile.

400G-DR4 funziona a 1310 nm su quattro fibre parallele a modalità singola-, classificate per 500 metri. Il connettore MPO-12 utilizza le otto fibre esterne e ne lascia quattro inutilizzate-un fatto che confonde gli installatori di cavi all'incirca una volta per implementazione. DR4 è diventato il cavallo di battaglia per la connettività foglia-spina negli impianti monomodali perché 500 metri coprono la maggior parte delle geometrie dei data center con spazio libero.

400G-FR4 utilizza lunghezze d'onda CWDM4 (1271, 1291, 1311, 1331 nm) multiplexate su una singola coppia di fibre tramite LC duplex. Raggiungere due chilometri. È qui che il 400G inizia a sembrare economico per le interconnessioni dei campus, perché non si devono trasportare otto-trunk MPO in fibra tra gli edifici.

400G-LR4 estende lo stesso approccio CWDM4 a 10 chilometri con una maggiore potenza di lancio e ricevitori migliori. Il salto di prezzo da FR4 a LR4 sorprende ancora i dipartimenti di procurement che non hanno aggiornato il loro modello mentale dai prezzi 100G-LR4.

 

L'Elefante Coerente

 

400G-ZR merita una sezione a parte perché rappresenta una tecnologia fondamentalmente diversa con lo stesso fattore di forma.

Tutto ciò che ho descritto finora utilizza l'ottica a rilevamento-diretto. La luce entra, il fotodiodo la converte, il DSP la ripulisce. L'ottica coerente codifica le informazioni sia in ampiezza che in fase attraverso due polarizzazioni simultaneamente, quindi utilizza un oscillatore locale e una sofisticata elaborazione del segnale digitale per recuperare tutto sul ricevitore. Il risultato: 400 Gbps su 120+ chilometri di fibra non amplificata in un modulo collegabile.

Lo standard OIF 400ZR specifica la modulazione 16QAM a 60 GBaud con doppia polarizzazione. Il FEC concatenato (soft-decision inner Hamming, hard-decision external ladder) fornisce circa 10,8 dB di guadagno di codifica netto. Il tutto consuma 15-20 watt e genera calore che farebbe piangere un modulo QSFP-DD.

Ho visto moduli ZR installati in interruttori che non erano progettati per quel carico termico. Il telaio dell'interruttore riportava temperature normali perché i suoi sensori di aspirazione misuravano l'aria fresca. Il modulo riportava 73 gradi perché era inserito tra altri due moduli ZR con un flusso d'aria inadeguato. Il collegamento ha funzionato-a malapena-con correzioni FEC elevate che nessuno ha notato finché il pre-FEC BER non ha superato la soglia e i pacchetti hanno iniziato a cadere.

Le varianti ZR+ e MZR ampliano la portata a scapito dell’interoperabilità. I miglioramenti specifici del fornitore-alla potenza di lancio, alla sensibilità del ricevitore e agli algoritmi FEC possono estendere i collegamenti oltre i 400 km, ma stai acquistando una soluzione anziché un prodotto.

 

 

La questione-delle terze parti

 

Ho avuto questa conversazione circa seicento volte.

"Possiamo utilizzare ottiche 400G di terze-parti?"

Tecnicamente sì. Le specifiche MSA esistono proprio per consentire l'interoperabilità multi-vendor. Un QSFP-DD conforme del produttore X dovrebbe comportarsi in modo identico a uno del produttore Y. Gli standard IEEE definiscono i parametri ottici ed elettrici. CMIS (Common Management Interface Specifica) standardizza il modo in cui l'host comunica con il modulo.

In pratica dipende.

I meccanismi di autenticazione di Cisco si sono evoluti dall'approccio schietto "errore-disabilita la porta" delle piattaforme meno recenti a una verifica del fornitore più sofisticata che registra gli avvisi ma non necessariamente disabilita la funzionalità. Il comando del ricetrasmettitore-servizio non supportato rimane la via di fuga. Arista tende ad essere più permissivo ma rifiuterà di supportare problemi che potrebbero derivare da moduli di terze-parti. La posizione di Juniper varia in base alla piattaforma e alla versione del software in modi che richiedono la consultazione delle relative matrici di compatibilità.

Utilizzo ottiche di terze parti-in ambienti di laboratorio senza esitazione. Per i percorsi di produzione che trasportano traffico di entrate alle 2 del mattino quando qualcosa non funziona? Voglio poter chiamare il TAC e chiedere aiuto invece di deviare immediatamente per "sostituire con ricetrasmettitori supportati".

La matematica dei costi modifica questo calcolo per gli hyperscaler che acquistano decine di migliaia di moduli e impiegano ingegneri ottici in grado di caratterizzare e qualificare i fornitori in modo indipendente. Il discorso è diverso per le aziende che acquistano centinaia di moduli attraverso canali di distribuzione con risorse tecniche limitate.

 

Realtà termica

 

Un modulo QSFP-DD da 400 G consuma tra 10 e 15 watt a seconda della variante e del fornitore. Un modulo ZR coerente da 400 G assorbe 15-20 watt. Un modulo QSFP da 800 G-DD800-già distribuito nei cluster AI assorbe 18-25 watt.

Metti 64 di questi in uno switch 2RU e avrai 640 watt solo dall'ottica prima di considerare l'ASIC dello switch, la memoria, le ventole e gli alimentatori. Il problema della progettazione termica è passato da "adeguato" a "critico" in una sola generazione.

Durante un test di qualificazione ho osservato una termocamera che controllava un interruttore-spine da 400G a pieno carico. I moduli più interessanti non erano quelli che ti aspetteresti. Le posizioni d'angolo, sottovento rispetto allo scarico ASIC, erano più calde dei moduli centrali-della piastra frontale che ricevevano aria fresca. Le letture della temperatura DDM standard hanno mostrato una differenza di 17 gradi tra le porte presumibilmente identiche.

Le specifiche del modulo promettono un funzionamento da 0 gradi a 70 gradi, ma le curve di prestazione non sembrano le stesse a 70 gradi come a 25 gradi. La corrente di soglia del laser aumenta. L'efficienza della pendenza diminuisce. Derive della lunghezza d'onda-e per i sistemi CWDM4 e DWDM, la deriva della lunghezza d'onda significa diafonia con i canali adiacenti.

I sistemi-raffreddati ad aria stanno raggiungendo i loro limiti. Il raffreddamento a liquido per gli switch rimane esotico ma sempre più necessario per i cluster AI/ML in cui GPU e ottica competono per lo stesso budget termico.

 

 

Testare le realtà

 

Gli standard IEEE definiscono i punti di conformità. Non garantiscono che il tuo collegamento specifico funzionerà.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) è l'equivalente PAM4 di OMA (Optical Modulation Amplitude) ma più complicato. Tenta di caratterizzare la qualità del trasmettitore in modo da prevedere le prestazioni del ricevitore. La misurazione richiede ricevitori di riferimento e trasformazioni matematiche che variano tra i fornitori di apparecchiature di prova in modi che provocano infiniti dibattiti nei comitati di standardizzazione.

I test pre-FEC BER sono più importanti che mai. L'"impronta digitale" dei tuoi errori di bit-casuali rispetto a quelli a raffica, uniformemente distribuiti rispetto a quelli concentrati in specifici simboli PAM4-determina se il tuo FEC può effettivamente correggerli. I veri errori casuali funzionano bene con i codici Reed-Solomon. Errori di burst dovuti a problemi di recupero del clock o comportamento anomalo del DSP possono sopraffare il FEC anche quando il BER grezzo sembra accettabile.

Ho imparato a richiedere statistiche pre-FEC da ogni collegamento 400G, non solo post-FEC. Un collegamento che mostra 0,00 post-FEC BER mentre si esegue pre-FEC BER a 2×10⁻⁴ sembra ottimo finché non ti rendi conto che non è rimasto quasi alcun margine. Aggiungi un connettore leggermente sporco o un laser vecchio e quel collegamento si ribalterà nel dirupo della FEC senza preavviso.

 

Contaminazione del connettore

 

A 400G il problema della contaminazione diventa acuto. L'occhio modulato ha meno margine. Le particelle che sarebbero state invisibili a velocità inferiori ora si attenuano abbastanza da diventare importanti.

I nuclei in fibra mono-modale hanno una larghezza di 9 micrometri. Un connettore MTP/MPO-12 trasporta otto percorsi in fibra attivi (quattro TX, quattro RX) più quattro inutilizzati. Ogni ciclo di accoppiamento rischia la contaminazione. Ogni terminazione contaminata rischia di perdere l'inserzione, incidendo negativamente sul budget del collegamento.

La disciplina di pulizia richiesta non è-negoziabile ma raramente viene seguita in modo coerente. Detergenti con un-clic, salviette asciutte con problemi di elettricità statica, pulizia umida con alcol isopropilico che deve essere asciugato immediatamente anziché lasciar evaporare-ogni metodo ha sostenitori e critici. Ciò su cui tutti sono d'accordo: ispezionare con un fibroscopio prima di connettersi e, se è sporco, pulirlo e ispezionare di nuovo.

Ho osservato un team di implementazione dedicare un intero pomeriggio alla risoluzione dei problemi di un collegamento 400G-DR4 intermittente. Scambio multiplo di moduli. Revisioni della configurazione. Alla fine ho aperto l'ambito di ispezione e ho trovato detriti di costruzione sull'adattatore della paratia che nessuno aveva pensato di controllare. Venti secondi con uno strumento di pulizia hanno risolto ciò che quattro ore di risoluzione dei problemi non sono riuscite a risolvere.

 

 

Cosa significa tutto questo per la pianificazione

 

Se stai implementando una nuova struttura di data center oggi, 400G è la linea di base per lo strato dorsale e, sempre più spesso, per gli uplink foglia-spina. Il costo per bit è sceso al punto che il breakout 4×100G da un modulo 400G è spesso più economico dei singoli moduli 100G. DR4 per qualsiasi cosa oltre i 30 metri all'interno di un edificio. FR4 per interconnessioni tra campus. LR4 o ZR se raggiungi tra i siti.

Se sei un'azienda che sta pensando di implementare la prima rete 400G, le piattaforme di passaggio sono maturate, la catena di fornitura dei moduli si è stabilizzata e i prezzi non richiedono più l'approvazione-da parte dell'esecutivo di ciascun ordine di acquisto. Inizia con un aggiornamento della foglia-dorsale, dimostra che la tua infrastruttura di cablaggio è in grado di gestire la più stretta tolleranza alla contaminazione e comprendi che i tuoi strumenti di gestione devono iniziare a raccogliere statistiche FEC prima che tu ne abbia effettivamente bisogno.

Se sei un hyperscaler che legge questo articolo, hai già superato i 400G per i cluster GPU e ti chiedi come verrà effettivamente distribuito 1,6T. Buona fortuna con i problemi termici; Leggerò i tuoi articoli tra due anni.

I moduli stessi sono diventati straordinariamente affidabili. I problemi risiedono ovunque: connettori contaminati, modalità FEC mal configurate, progetti termici che presupponevano i limiti di potenza di ieri e organizzazioni di supporto che stanno ancora imparando a risolvere i problemi di integrità del segnale PAM4. I fondamenti poco affascinanti-pulisci i tuoi connettori, misura le tue temperature, comprendi il tuo budget FEC- contano più di quanto lo saranno mai i dibattiti sulle schede tecniche.