Il futuro dei dati: modulo ottico da 400 g

 

 

Le guerre dei fattori di forma di cui nessuno parla onestamente

 

Partecipa a qualsiasi conferenza sulle reti ottiche e ascolterai il dibattito tra QSFP-DD e OSFP inquadrato come un confronto tecnico. Non lo è. È una lotta politica mascherata da schede tecniche.

QSFP-DD ha vinto la battaglia sui volumi prima della spedizione del primo switch 400G. La retrocompatibilità con le gabbie QSFP28 significava che ogni operatore di rete poteva teoricamente aggiornarsi senza eliminare l’infrastruttura esistente. Questo "teoricamente" è un lavoro pesante-Ho visto ingegneri passare interi fine settimana cercando di far sì che il firmware dello switch legacy riconosca i moduli a doppia-densità che si adattano fisicamente ma si comportano male dal punto di vista elettrico.

OSFP è arrivato dal campo di Arista con una proposta semplice: modulo più grande, termiche migliori, progettato per 400G da zero invece di forzare otto corsie in una gabbia costruita per quattro. Il dissipatore di calore integrato gestisce 15-20 watt senza alcuna fatica. QSFP-DD a 12 watt? Stiamo già spingendo i limiti termici nelle implementazioni ad alta densità.

L'industria ha comunque scelto QSFP-DD. La compatibilità vince. Lo ha sempre fatto.

Ma ecco ciò che gli articoli sul confronto dei fattori di forma non menzionano mai: le differenze di capacità termica aumentano drammaticamente su larga scala. Uno switch 400G a 32-porte completamente popolato con moduli QSFP-DD dissipa circa 640 watt solo dall'ottica. Questo è prima dell'ASIC dello switch, del piano di controllo, delle ventole, degli alimentatori. Stiamo parlando di 1,5-2 kilowatt totali in uno chassis 1RU. L'ingegneria del flusso d'aria necessaria per mantenere tali moduli al di sotto dei limiti di temperatura di giunzione confina con la progettazione aerospaziale.

 

PAM4 ha reso tutto più difficile

 

Tutti celebrano PAM4 per aver raddoppiato l'efficienza spettrale. Nessuno menziona l'incubo ingegneristico che ha creato.

NRZ era semplice. Due livelli di tensione. Il segnale rappresenta uno o uno zero. Il tuo diagramma oculare ha un'apertura. Se è pulito, sei d'oro.

PAM4 trasmette due bit per simbolo utilizzando quattro livelli di ampiezza. Tre aperture per gli occhi impilate. Ogni occhio è circa un-terzo dell'altezza di un occhio NRZ equivalente. I margini di rumore collassano. All'improvviso ogni millimetro di traccia di PCB è importante. Ogni via crea riflessione. Ogni discontinuità di impedenza tra l'ASIC host e la gabbia del modulo ottico diventa un problema di affidabilità.

Ho trascorso sei mesi a eseguire il debug di una distribuzione 400G in cui apparivano errori CRC casuali su porte specifiche. La causa principale? Un connettore leggermente-fuori-delle specifiche sulla scheda host ha creato una perdita di ritorno appena sufficiente a corrompere l'occhio PAM4 più basso. Perfettamente soddisfacente per il traffico 100G. Catastrofico per 400G.

La risposta dell'industria è stata l'obbligo di FEC. Non è possibile utilizzare l'ottica PAM4 400G senza la correzione degli errori diretti-il BER grezzo supera semplicemente le soglie utilizzabili. RS(544.514) aggiunge circa 300 nanosecondi di latenza. Non enorme. Ma ditelo al cluster HPC che esegue lavori MPI dove ogni microsecondo di latenza di coda influisce sul tempo di completamento del lavoro.

 

 

La fotonica del silicio avrebbe dovuto salvarci

 

La proposta della fotonica del silicio sembra perfetta sulla carta. Sfrutta decenni di investimenti in CMOS Fab. Integra modulatori, fotorilevatori e guide d'onda su un singolo chip. Ottieni economie di scala che i componenti discreti InP e GaAs non potrebbero mai raggiungere. Il consumo energetico diminuisce del 20-30%. I costi alla fine raggiungono la parità, per poi indebolire gli approcci tradizionali.

Intel ha spedito oltre tre milioni di ricetrasmettitori fotonici in silicio da 100G. Alibaba ha implementato moduli fotonici in silicio DR4 da 400G sulla propria rete cloud a partire dal 2020. La tecnologia funziona.

Ma la fotonica del silicio ha uno sporco segreto: le sorgenti luminose non possono ancora essere silicio.

È necessario un laser esterno-tipicamente un die di fosfuro di indio-collegato al PIC in silicio o accoppiato tramite fibra. Questa integrazione ibrida aggiunge complessità alla produzione. I rendimenti soffrono. Il vantaggio in termini di costi che tutti avevano promesso continua ad essere estromesso da un’altra generazione.

Le aziende che raddoppiano gli sforzi sulla fotonica del silicio per il 400G includono alcune persone molto intelligenti che fanno scommesse molto costose. Le acquisizioni di Luxtera e Acacia da parte di Cisco sono ammontate a 3,26 miliardi di dollari. Non si tratta di soldi del budget di ricerca e sviluppo. Questo è un investimento in infrastrutture strategiche.

I dati sulle quote di mercato raccontano una storia più complicata. Secondo LightCounting, i moduli fotonici in silicio rappresentano ancora meno del 10% delle spedizioni totali di 400G, nonostante anni di pubblicità. I tradizionali ricetrasmettitori basati su EML- dominano le applicazioni DR4 e FR4. La transizione tecnologica sta avvenendo più lentamente di quanto suggerito dai comunicati stampa.

 

Cosa nascondono le schede tecniche sulla portata

 

La convenzione di denominazione IEEE per l'ottica 400G sembra utile finché non si tenta di acquistare effettivamente i moduli.

400G-SR8: 100 metri su fibra multimodale. Otto corsie parallele a 850 nm. Va bene per le connessioni all'interno del-rack. Terribile per qualsiasi altra cosa.

400G-DR4: 500 metri su fibra monomodale-. Quattro corsie parallele a 1310 nm. Il cavallo di battaglia per la maggior parte delle interconnessioni dei data center.

400G-FR4: 2 chilometri, modalità singola-, lunghezze d'onda CWDM multiplexate su una coppia di fibre. Utilizza costosi laser modulati esternamente.

400G-LR4: 10 chilometri. Stesso schema di lunghezze d'onda dell'FR4 ma con amplificazione ottica per estendere la portata.

Abbastanza semplice. Solo che i produttori giocano costantemente con queste designazioni in modo veloce e rilassato.

Ho visto moduli "compatibili con DR4" che raggiungono i 500 metri in condizioni di laboratorio e falliscono a 300 metri con un impianto in fibra reale che presenta una perdita del connettore leggermente elevata. Le specifiche dicono 500 metri con budget di collegamento di 7 dB. I conti funzionano perfettamente presupponendo connessioni incontaminate ovunque. La realtà include connettori sporchi, giunzioni imperfette e percorsi di fibre che hanno seguito un percorso leggermente più lungo attraverso il soffitto rispetto a quanto indicato nei disegni di gestione dei cavi.

La portata dell'FR4 di 2 km sembra adeguata finché non colleghi gli edifici di un campus e scopri che il percorso della fibra misura 2,3 chilometri. Ora hai bisogno dei moduli LR4 a un costo tre volte superiore, oppure diventi creativo con l'amplificazione, oppure accetti che questo collegamento in realtà non funzioni.

 

La decisione DR4 contro FR4

 

Questo in realtà è importante per le implementazioni reali e nessuno lo spiega bene.

DR4 utilizza quattro fibre parallele per la trasmissione e quattro per la ricezione. Otto fibre in totale. Connettore MPO-12 con quattro posizioni non utilizzate. Portata massima 500 metri. Consumo energetico tipicamente 8-10 watt. Il modulo costa circa il 60% dell'FR4 equivalente.

FR4 utilizza il multiplexing a divisione di lunghezza d'onda per mettere tutte e quattro le corsie su un'unica coppia di fibre. Connettore LC duplex. Portata massima 2 chilometri. Consumo energetico tipicamente 10-12 watt. Prezzi premium perché i laser EML non sono economici.

La topologia della fibra determina tutto.

Data center greenfield con cablaggio strutturato specificato? La fibra parallela ha senso. Far passare i cavi del trunk MPO tra le file. Usa DR4 ovunque. Il costo inferiore dell’ottica compensa la fibra extra.

Ambiente dismesso con impianto di fibra duplex esistente? FR4 o stai tirando un nuovo cavo.

Ambiente misto con alcune corse parallele e alcuni impianti legacy duplex? Benvenuti nell'incubo della compatibilità. Ti ritroverai con entrambi i tipi di moduli, diversi stili di connettori e almeno un cabinet in cui qualcuno ha utilizzato il cavo di connessione sbagliato e ha trascorso quattro ore a risolvere gli avvisi di "collegamento inattivo".

 

La domanda di rottura

 

Un modulo-DR4 da 400G contiene quattro corsie da 100G. Ciascuna corsia opera in modo indipendente a livello ottico. Ciò consente il breakout-collegando una porta dello switch 400G a quattro dispositivi 100G separati utilizzando un gruppo di fibra breakout.

L’economia sembra convincente. Una porta da 400G. Quattro server da 100G. Non sono necessarie porte switch aggiuntive.

La realtà è più complicata.

Gli ASIC switch non supportano sempre configurazioni di breakout arbitrarie. Alcune piattaforme richiedono firmware specifico. Altri consentono il breakout solo su determinati gruppi di porte. Alcuni implementano il breakout nell'hardware ma lo stack software non espone l'opzione di configurazione.

Peggio ancora: i cavi breakout creano incubi di supporto. Il problema è il modulo 400G, il gruppo breakout o una delle quattro porte del dispositivo 100G? La risoluzione dei problemi richiede lo scambio di cavi, il test di ciascuna gamba in modo indipendente e la preghiera che il problema sia riproducibile.

Ho visto organizzazioni standardizzare ovunque il 100G nativo proprio per evitare la complessità dei breakout. Le ottiche costano di più. La densità delle porte dello switch ne risente. Ma vince la semplicità operativa.

 

 

Realtà del consumo energetico

 

Ogni scheda tecnica del modulo 400G elenca il consumo energetico. I numeri sono tecnicamente accurati e praticamente inutili.

Un QSFP-DD DR4 potrebbe avere una potenza tipica di 8,5 watt. Questo è il modulo che preleva dalla guida da 3,3 V dell'interruttore in condizioni operative normali. Non include la potenza aggiuntiva consumata dall'ASIC dello switch per gestire le otto linee PAM4 da 50G. Non tiene conto del sovraccarico di gestione termica-ventole più potenti, flusso d'aria aggiuntivo, forse raffreddamento supplementare.

Con 32 porte per switch, la differenza tra i moduli da 8 e 12 watt ammonta a 128 watt. Ciò non è banale quando si pianifica la distribuzione dell'alimentazione per un'intera fila di rack.

Il passaggio da 100G a 400G non quadruplica il consumo energetico per porta-i miglioramenti in termini di efficienza derivanti dall'integrazione e dai miglioramenti DSP aiutano. Ma la potenza complessiva per interruttore è assolutamente aumentata. I data center che hanno pianificato infrastrutture elettriche e di raffreddamento con densità intorno a 100G stanno scoprendo limiti di capacità quando si passa a 400G a piena popolazione.

 

La compatibilità non è binaria

 

I venditori adorano affermare "compatibile con tutte le principali piattaforme di commutazione". Questa affermazione è tecnicamente difendibile e praticamente fuorviante.

La compatibilità del modulo ottico non dipende solo dall'adattamento fisico e dalla segnalazione elettrica. I protocolli DOM (Digital Optical Monitoring) variano a seconda dei fornitori. Le implementazioni CMIS (Common Management Interface Specifica) hanno una flessibilità sufficiente per cui due implementazioni "conformi" potrebbero non interagire in modo pulito. Alcuni interruttori controllano i codici ID del fornitore e si rifiutano completamente di accendere i moduli non riconosciuti.

Il mercato grigio delle ottiche 400G "compatibili" è esploso proprio perché i moduli di marca-costano 3-5 volte di più rispetto alle alternative di terze parti. Alcune di queste alternative funzionano perfettamente. Altri causano problemi subdoli che si manifestano solo in specifici schemi di traffico o dopo aver corso per settimane.

Ho testato personalmente moduli DR4 400G di terze parti-che hanno superato ogni singola misurazione di conformità in laboratorio e hanno poi generato errori FEC irreversibili al 2% del traffico sotto carico di produzione. La temperatura all'interno del modulo durante il funzionamento prolungato con larghezza di banda-elevata superava quella che i componenti ottici potevano gestire. Il modulo ha funzionato. Fino a quando non è stato così.

 

Cosa significa 800G per 400G

 

La transizione all’800G è già in corso. Gli hyperscaler stanno implementando 800G oggi. Il resto del settore seguirà entro 18-24 mesi.

Ciò non rende obsoleto il 400G-i moduli verranno spediti per anni-ma cambia l'economia.

L'800G utilizza otto corsie da 100G invece delle otto corsie da 50G del 400G. Stessa modulazione PAM4, tasso di simboli più elevato per corsia. La fisica diventa più difficile. Gli involucri termici spingono verso 20-25 watt per modulo. Il vantaggio del margine termico di OSFP diventa più rilevante a questi livelli di potenza.

Ancora più importante, i moduli 800G possono passare a configurazioni doppie 400G. Un modulo 800G-2xDR4 fornisce due collegamenti 400G indipendenti. Per ambienti con requisiti misti di 400G e 800G, questa funzionalità di breakout semplifica la gestione dell'inventario.

Gli operatori di data center con cui parlo si mantengono per lo più a 400G per la connettività leaf-spine mentre valutano 800G per le interconnessioni cluster GPU dove la densità di larghezza di banda conta di più. I carichi di lavoro di addestramento dell'AI con tutti i-tutti{5}}tutti i modelli di comunicazione stressano realmente i collegamenti 400G in modi che il tradizionale traffico nord-sud non ha mai fatto.

 

L'orizzonte dell'ottica co-confezionata

 

Tutti nel settore sanno che il CPO sta arrivando. Ricetrasmettitori ottici integrati direttamente con gli ASIC switch. Nessun modulo collegabile. Il consumo energetico scende da 15 picojoule per bit a forse 5, potenzialmente al di sotto di 1 picojoule man mano che la tecnologia matura.

NVIDIA ha annunciato i piani CPO per l'hardware 2025/2026. Meta e Microsoft hanno dimostrato prototipi. L'OIF sta standardizzando le interfacce.

La domanda non è se il CPO si verifica. La questione è se ciò avviene abbastanza velocemente da essere importante per il tuo attuale ciclo di pianificazione.

La mia lettura: l'ottica collegabile domina almeno fino al 2028 per la maggior parte delle implementazioni. CPO potrebbe essere visualizzato in precedenza nelle build personalizzate dell'hyperscaler. La flessibilità operativa dei moduli-scambiabili a caldo-la capacità di sostituire un'ottica guasta senza spegnere uno switch-è estremamente importante per gli ambienti senza ridondanza N+1 ovunque.

Pianifica oggi stesso le reti 400G e 800G collegabili. Budget per la valutazione del CPO in tre anni. Non lasciare che le diapositive della roadmap dei fornitori accelerino le tempistiche che la realtà produttiva non è in grado di supportare.

 

Guida pratica che aiuta davvero

 

Per le nuove costruzioni: standardizzare su DR4 con infrastruttura in fibra parallela. Il risparmio sui costi rispetto al composto FR4 su migliaia di moduli. Pianifica potenza e raffreddamento per 10 watt per modulo anche se le schede tecniche ne promettono 8.

Per gli aggiornamenti: controlla ossessivamente il tuo impianto di fibra esistente. Conoscere la perdita effettiva misurata su ogni segmento. Scopri le violazioni del limite DR4 di 400 metri prima che arrivi la tua ottica.

Per i cluster AI: 800G è già la risposta giusta. Le richieste di larghezza di banda giustificano il premio. Non fare alcun passo-mezzo verso 400G se i tuoi carichi di lavoro lo supereranno in 18 mesi.

Per tutti: testa in modo approfondito le soluzioni-di terze parti prima dell'implementazione su larga scala. Il risparmio sui costi è reale. Così sono i fallimenti. Convalida con le tue piattaforme di commutazione specifiche sotto un carico realistico prima di impegnare dollari in inventario.

La tecnologia funziona. Venti milioni di moduli 400G e 800G spediti nel 2024 per un motivo. Ma la transizione da 100G richiede attenzione ai dettagli che le schede tecniche e i materiali di marketing opportunamente omettono. Alla fisica non interessa la sequenza temporale della distribuzione.