400G平臺(tái)規(guī)模部署 TOOP向柔性光網(wǎng)絡(luò)演進(jìn)

  ICC訊 2020年，注定會(huì)成為人類(lèi)歷史上不平凡的一年。疫情，這場(chǎng)沒(méi)有硝煙的戰(zhàn)爭(zhēng)，讓我們每一個(gè)人在2020年都抒寫(xiě)出了屬于自己的，或傷感、或迷茫、或精彩、或勵(lì)志的故事，而這些故事，匯聚成了我們的2020年。

  在疫情最嚴(yán)重的時(shí)候，線(xiàn)上辦公，讓我們?cè)僖淮斡∽C了信息技術(shù)給包括我們?cè)趦?nèi)的所有人能夠帶來(lái)的莫大幫助。從相隔數(shù)里到遠(yuǎn)隔重洋，在無(wú)情的疫情面前，線(xiàn)上，成為了承接我們智慧與創(chuàng)造的堅(jiān)實(shí)平臺(tái)。

  在疫情所帶來(lái)的影響及變化下，TOOP也同樣面臨著前所未有的挑戰(zhàn)與機(jī)遇。在這樣不平凡的一年中，我們勇敢地直面挑戰(zhàn)，果斷地抓住機(jī)遇，回首經(jīng)年，我們收獲頗豐。相信在2021年，我們會(huì)繼續(xù)翱翔乾坤間，長(zhǎng)空振翅沖云霄。

Flex-grid與400G DCO升級(jí)現(xiàn)網(wǎng)規(guī)模部署

  TOOP的2020迎來(lái)了重量級(jí)升級(jí)，在9月的CIOE上TOOP發(fā)布了2款新產(chǎn)品?；贑FP2-DCO的T2X4C8電層子卡與支持Flex-grid的CMUX-64子卡，讓TOOP成為了一套完整的DWDM系統(tǒng)：OPC-4光層+TPC-4電層+TOC控制器的組合讓TOOP具備端到端的柔性光網(wǎng)絡(luò)交付能力。經(jīng)過(guò)一段時(shí)間的系統(tǒng)測(cè)試后，我們高興的宣布：

  基于CFP2-DCO可插拔模塊的400G方案結(jié)合CMUX-64的Flex-grid光層平臺(tái)正式規(guī)模上線(xiàn)服役啦!并且隨著Flex-grid功能的規(guī)模部署，無(wú)論是當(dāng)前65Gbaud, 69Gbaud的單波400G還是未來(lái)128Gbaud的單波800G系統(tǒng)無(wú)需更換OPC光層器件，平滑支持未來(lái)速率演進(jìn)。

兼顧成本與不確定性

  相比數(shù)通產(chǎn)品，波分系統(tǒng)相對(duì)封閉。繼光電解耦之后，這一次我們的變革觸及到波分系統(tǒng)的核心器件——相干模塊。傳統(tǒng)的電層單板采用5”x7” MSA模塊方案，不同的芯片組需要設(shè)計(jì)不同的業(yè)務(wù)板卡，對(duì)應(yīng)的子框與控制器都需要開(kāi)發(fā)工作，增加了適配與測(cè)試成本。這就好像早期的智能手機(jī)，不同的手機(jī)有不同的數(shù)據(jù)接口，與電腦連接時(shí)需要不同的驅(qū)動(dòng)，數(shù)據(jù)線(xiàn)也互不通用，用戶(hù)使用起來(lái)很不方便。

  可插拔相干模塊(DCO)方案，就好比當(dāng)下的智能機(jī)，手機(jī)型號(hào)可能千奇百怪，但數(shù)據(jù)接口基本統(tǒng)一，一根type-C的數(shù)據(jù)線(xiàn)便可讓不同廠商的手機(jī)連接電腦，也無(wú)需在安裝繁瑣的驅(qū)動(dòng)，提供了應(yīng)用的便利。DCO方案賦予用戶(hù)更多靈活性，用戶(hù)可以在DSP與TROSA之間根據(jù)性能與成本特性選擇不同芯片組方案。不同的相干模塊可以在同一塊板卡上部署，硬件的差異性在板卡層面屏蔽，無(wú)需擔(dān)心模塊會(huì)對(duì)控制器帶來(lái)額外的適配工作。

  可插拔相干模塊讓波分系統(tǒng)的核心器件解耦成為了可能，從而進(jìn)一步的降低成本和保證供應(yīng)鏈體系的安全，也極大的簡(jiǎn)化了系統(tǒng)開(kāi)發(fā)的復(fù)雜度。

  通過(guò)統(tǒng)計(jì)全網(wǎng)光纜的損耗分布情況，我們發(fā)現(xiàn)在四纖三路由應(yīng)用場(chǎng)景下普通400G-ZR模塊無(wú)法承擔(dān)性能需求。而采用CFP2封裝的DCO，內(nèi)部通過(guò)SOA或EDFA提高發(fā)光功率，芯片也可獲得更高的功耗支持，性能高于普通的400G-ZR模塊，CFP-2 DCO采用與400G-ZR采用相同DSP芯片，成本稍有上浮適合需要一定性能需求的應(yīng)用場(chǎng)景。

TOOP的400G的微創(chuàng)新

  TOOP旨在通過(guò)技術(shù)創(chuàng)新來(lái)降低CapEx與OpEx。我們?cè)谠O(shè)計(jì)400G時(shí)吸取了傳統(tǒng)系統(tǒng)的一些問(wèn)題，站在巨人的肩膀上再?gòu)男枨蠼嵌葘?duì)相干模塊進(jìn)行了功能的深度定制化。

  電芯片層面加了性能預(yù)判機(jī)制

  相干系統(tǒng)通過(guò)強(qiáng)大的FEC(前向糾錯(cuò)編碼)技術(shù)實(shí)現(xiàn)對(duì)傳送的bit進(jìn)行錯(cuò)誤修正，F(xiàn)EC編碼算法就像微信的語(yǔ)音轉(zhuǎn)換文字功能，其具備一定的口音糾錯(cuò)能力。進(jìn)行語(yǔ)音文字轉(zhuǎn)換時(shí)，算法會(huì)根據(jù)語(yǔ)意來(lái)判斷是否修正口音帶來(lái)的干擾。當(dāng)你的口音很重或者引入過(guò)多方言時(shí)，超過(guò)算法的容忍上限時(shí)其轉(zhuǎn)換也會(huì)出錯(cuò)。如同我們可以用轉(zhuǎn)換正確率來(lái)評(píng)估普通話(huà)標(biāo)準(zhǔn)與否一樣，我們可以根據(jù)Pre-fec前向糾錯(cuò)誤碼率來(lái)評(píng)估系統(tǒng)的性能情況。TOOP通過(guò)CFP2-DCO的Pin37 管腳來(lái)上報(bào)pre-fec前向糾錯(cuò)編碼超限的事件，實(shí)現(xiàn)了對(duì)性能劣化事件的提前關(guān)注。當(dāng)DSP檢測(cè)到Pre-fec越過(guò)設(shè)定門(mén)限，即拉高Pin37管腳，為業(yè)務(wù)的無(wú)損切換提供可能性。

  業(yè)內(nèi)首創(chuàng)的DSP收斂計(jì)時(shí)上報(bào)，實(shí)現(xiàn)業(yè)務(wù)受損時(shí)間監(jiān)控

  引入了DCO模塊收斂計(jì)時(shí)功能，如上圖所示，TOOP系統(tǒng)可以記錄光路倒換過(guò)程的持續(xù)時(shí)間，包括光保護(hù)(OP)板卡的光開(kāi)關(guān)切換時(shí)間與DCO模塊的業(yè)務(wù)中斷時(shí)間。我們定義了DCO模塊的業(yè)務(wù)中斷計(jì)時(shí)功能，定義0x910e(高位)與0x910f(低位)寄存器內(nèi)儲(chǔ)存了DSP收斂時(shí)間，其十進(jìn)制值即收斂時(shí)間，單位us，上圖中的測(cè)試結(jié)果為4971us=4.971ms，這樣的數(shù)據(jù)協(xié)助我們?cè)\斷系統(tǒng)的性能問(wèn)題。例如，當(dāng)某次保護(hù)切換事件發(fā)生時(shí)，OP開(kāi)關(guān)切換時(shí)間較短，而DSP的收斂時(shí)間較久，則說(shuō)明線(xiàn)路性能余量不足，在光信號(hào)劣化至光開(kāi)關(guān)切換門(mén)限值之前DSP已經(jīng)產(chǎn)生了誤碼。

  DSP收斂時(shí)間這個(gè)功能讓我們第一次在ms級(jí)尺度上對(duì)一個(gè)瞬態(tài)進(jìn)行描述，目的是減少上層業(yè)務(wù)的感知，進(jìn)一步優(yōu)化四纖三路由系統(tǒng)，讓我們打造更加可靠且穩(wěn)定的底層系統(tǒng)。

  DSP 色散掃描范圍自動(dòng)配置

  當(dāng)前400G場(chǎng)景下，因光纜中斷而引起的倒換事件對(duì)業(yè)務(wù)的影響時(shí)間由原先的100ms級(jí)別(業(yè)務(wù)層面丟失時(shí)間)，降低到了10ms級(jí)別(業(yè)務(wù)層面丟失時(shí)間)，從而降低光纜中斷引起的業(yè)務(wù)損失。

  在線(xiàn)路開(kāi)通時(shí)，OPC-4的OTDR會(huì)探測(cè)線(xiàn)路實(shí)際距離(主備用路由收發(fā)雙芯分別探測(cè))，通過(guò)距離配置DSP的色散掃描范圍，由默認(rèn)的-20000～2000ps，配置成符合主備用光纜距離的實(shí)際值，例如-5000 ～ 2000ps，得益于DSP的算法優(yōu)化與色散掃描范圍的自動(dòng)配置，通過(guò)減少DSP的resync的色散搜索時(shí)間，進(jìn)一步提升保護(hù)倒換的速度，進(jìn)而減少業(yè)務(wù)受損時(shí)間。

  根據(jù)實(shí)際測(cè)試結(jié)果，儀表顯示波分系統(tǒng)在保護(hù)倒換過(guò)程中的切換時(shí)間最長(zhǎng)為8ms，最短為3.8ms，上圖左側(cè)部分顯示通過(guò)交換機(jī)加載流量端到端測(cè)試結(jié)果，TOOP 400G系統(tǒng)在倒換過(guò)程中速度更快，減少了業(yè)務(wù)受損時(shí)間，為線(xiàn)上服務(wù)的可靠性提供了有效保障。

  DCO自動(dòng)測(cè)量端到端RTT時(shí)延功能

  通過(guò)下插探測(cè)信號(hào)序列，實(shí)現(xiàn)DCO寄存器讀取線(xiàn)路RTT時(shí)延，從而對(duì)開(kāi)通系統(tǒng)的線(xiàn)路性能指標(biāo)進(jìn)行準(zhǔn)確預(yù)估，此功能為自動(dòng)重路由功能提供了數(shù)據(jù)基礎(chǔ)。

  DCO內(nèi)全量PM數(shù)據(jù)秒級(jí)telemetry提取

  定義超過(guò)85項(xiàng)的PM數(shù)據(jù)通過(guò)telemetry進(jìn)行秒級(jí)采集，是業(yè)內(nèi)第一次將ASIC中的信息進(jìn)行如此全面的采集。進(jìn)而通過(guò)數(shù)據(jù)分析提供DCO硬件故障預(yù)測(cè)與線(xiàn)路狀態(tài)預(yù)測(cè)功能，T2X4C8單板具備硬件反饋機(jī)制，該機(jī)制使子框內(nèi)OP-6單板支持通過(guò)DCO的BER觸發(fā)OCH1+1保護(hù)倒換。

  海量的PM數(shù)據(jù)是我們未來(lái)重點(diǎn)挖掘的數(shù)據(jù)寶藏，這將賦予我們一些偵測(cè)線(xiàn)路信息的能力。

  如上圖所顯示，不同的光纜長(zhǎng)度對(duì)應(yīng)的色散補(bǔ)償值不同，例如某光纜割接后距離發(fā)生變化，通過(guò)色散數(shù)據(jù)可立即識(shí)別到光路發(fā)生了變化，聯(lián)動(dòng)控制器進(jìn)行OTDR測(cè)試并告知維護(hù)人員光纜發(fā)生了路由改變。我們正在對(duì)這一系列數(shù)據(jù)進(jìn)行挖潛，目的是在系統(tǒng)受損前進(jìn)行業(yè)務(wù)止損操作，提升服務(wù)可靠性。我們甚至可以通過(guò)這些參數(shù)得知光纜割接過(guò)程中的誤操作，例如G.652光纜與G.655光纜混接等等，傳統(tǒng)系統(tǒng)無(wú)法感知或定位耗時(shí)的問(wèn)題可以通過(guò)這些數(shù)據(jù)解答。

  打個(gè)硬廣，我們有海量的性能數(shù)據(jù)，我們上線(xiàn)以來(lái)已經(jīng)積累了數(shù)百Tbits的數(shù)據(jù)。我們希望通過(guò)運(yùn)用這些數(shù)據(jù)去推斷并抓取光纜的特征值，進(jìn)而實(shí)現(xiàn)對(duì)光纜的發(fā)生變化進(jìn)行提示，包括同路由分析，光纜中斷預(yù)測(cè)等。希望有興趣的優(yōu)秀畢業(yè)生加入騰訊網(wǎng)絡(luò)平臺(tái)部，讓我們一起打造更穩(wěn)定的網(wǎng)絡(luò)系統(tǒng)。

TOOP向柔性網(wǎng)絡(luò)演進(jìn)，F(xiàn)lex-grid 為我們打造未來(lái)平臺(tái)

  TOOP首次在DCI平臺(tái)引入靈活柵格技術(shù)(flex-grid)，實(shí)現(xiàn)了柔性光網(wǎng)絡(luò)的能力。在面對(duì)400G以及400G+場(chǎng)景的平滑演進(jìn)提供了基礎(chǔ)。TOOP選擇了簡(jiǎn)單作為其設(shè)計(jì)語(yǔ)言。通過(guò)友好的施工管理設(shè)計(jì)，利用MUX-PAENL對(duì)64個(gè)通道進(jìn)行散出，背面與前部走線(xiàn)設(shè)計(jì)減少布線(xiàn)復(fù)雜度。控制層面通過(guò)拓?fù)涔芾斫M件實(shí)現(xiàn)簡(jiǎn)明扼要的指示，避免維護(hù)時(shí)的復(fù)雜度。

  CMUX-64單板與MUX-PANEL采用了專(zhuān)利設(shè)計(jì)，實(shí)現(xiàn)了低損耗的OMSP與Flex-grid應(yīng)用。在點(diǎn)到點(diǎn)OMSP場(chǎng)景時(shí)無(wú)需額外增加OP單板即可實(shí)現(xiàn)，在采用OCH1+1場(chǎng)景或無(wú)需光層保護(hù)場(chǎng)景時(shí)也不會(huì)額外增加插損。整體功率計(jì)算符合鏈路落波與合波需求，滿(mǎn)足400G及400G+場(chǎng)景的需求，該系統(tǒng)可以平滑向未來(lái)演進(jìn)，進(jìn)而降低光層的重復(fù)投資與提升頻譜利用率。

  CMUX-64所采用的WSS器件具備優(yōu)秀濾波特性，讓我們減少了對(duì)DCO模塊內(nèi)置TOF的需求，進(jìn)一步降低DCO模塊的成本。同時(shí)Flex-grid賦予我們無(wú)需標(biāo)準(zhǔn)化FEC，兩端IDC的不同DSP廠商的DCO可以自適應(yīng)匹配，無(wú)需繁瑣的現(xiàn)場(chǎng)操作。這里劃重點(diǎn)，TOOP產(chǎn)品的設(shè)計(jì)語(yǔ)言是“簡(jiǎn)”，我們希望現(xiàn)場(chǎng)處理問(wèn)題的方式就是安裝與替換，縮短系統(tǒng)開(kāi)通與故障處理的時(shí)間，提升業(yè)務(wù)的可用率。電層設(shè)備與合波器之間的頻率分配，互聯(lián)關(guān)系等問(wèn)題可以做到無(wú)圖紙化施工，我們引入了自適應(yīng)功能來(lái)實(shí)現(xiàn)匹配波長(zhǎng)功能。同時(shí)CMUX-64可以針對(duì)不同模塊的發(fā)射功率差異與不同波特率的問(wèn)題，包括正在測(cè)試中的基于PCS-16QAM的69Gbaud CFP2-DCO的高性能 400G所需81.5GHz頻譜間隔應(yīng)用，采用Flex-grid可以很好的解決。

  如何快速的、自動(dòng)的、準(zhǔn)確的調(diào)整波分系統(tǒng)各節(jié)點(diǎn)功率是一個(gè)業(yè)內(nèi)難題，在引入CMUX-64后，我們?cè)黾恿讼到y(tǒng)調(diào)節(jié)點(diǎn)，其中CMUX-64中的2個(gè)32緯度WSS器件，通過(guò)自動(dòng)/手動(dòng)配置WSS針對(duì)各通道VOA，通過(guò)控制器的集中控制可以實(shí)現(xiàn)入纖的平坦度的調(diào)節(jié)。

關(guān)于TOOP 2021的一些技術(shù)討論

  TOOP今年將重點(diǎn)豐富TOC控制器的各項(xiàng)功能，針對(duì)自動(dòng)化進(jìn)行一些列復(fù)雜的迭代。我們的目標(biāo)是將傳統(tǒng)后驗(yàn)的故障處理向提前感知進(jìn)行演進(jìn)。此部分請(qǐng)持續(xù)關(guān)注鵝廠網(wǎng)事，也歡迎感興趣的小伙伴加入到我們的行列，讓我們一同把傳送系統(tǒng)變得更加“簡(jiǎn)單”!

  關(guān)于硬件，TOOP在2021年不會(huì)有Super C-band(C++方案)的應(yīng)用，不會(huì)有96Gbaud 800G應(yīng)用。TOOP會(huì)繼續(xù)在C-band場(chǎng)景下進(jìn)行部署，從目前器件成熟度角度來(lái)看下一目標(biāo)是實(shí)現(xiàn)C&L-band應(yīng)用，但是不會(huì)選擇Super C-band或 Super C&L-band方案，分析如下：

  1.由于受激拉曼散射(SRS)，短波長(zhǎng)能量向長(zhǎng)波長(zhǎng)傳遞，導(dǎo)致短波長(zhǎng)插損更大，C+L波段進(jìn)一步增加插損。Super C+L會(huì)讓此劣化趨勢(shì)更加顯著。

  2.按照當(dāng)下7nm 芯片400G場(chǎng)景來(lái)計(jì)算，Super C&L-band比C&L-band容量增加有限(51.2Tbps vs 54.4Tbps)，但是成本要高30% -40%，因而我們認(rèn)為C+L是目前性?xún)r(jià)比更好的方案。

  關(guān)于96G波特率的800G產(chǎn)品，由于性能與開(kāi)發(fā)成本原因，TOOP選擇跳過(guò)96G波特率的產(chǎn)品，目標(biāo)鎖定在128G+波特率的800G產(chǎn)品。

       寫(xiě)在最后

  TOOP是一個(gè)軟硬組合的產(chǎn)品，也終于在這個(gè)特殊的年份中，TOOP成長(zhǎng)成一套完整的波分系統(tǒng)。在設(shè)計(jì)整套系統(tǒng)的過(guò)程中，我們舍棄了很多功能，一直對(duì)系統(tǒng)做減法。“簡(jiǎn)”，簡(jiǎn)化，讓設(shè)備簡(jiǎn)單化，是我們一直秉持的執(zhí)念。我們相信一個(gè)簡(jiǎn)單的產(chǎn)品一定是低成本的產(chǎn)品。無(wú)論是器件成本、學(xué)習(xí)成本、使用成本，簡(jiǎn)單會(huì)帶來(lái)成本的降低。就像今年某位朋友常提到的，Less is more，TOOP 會(huì)繼續(xù)朝向把復(fù)雜留給“自己”，把簡(jiǎn)單留給“用戶(hù)”方向演進(jìn)。

  其實(shí)從波分系統(tǒng)在DCI場(chǎng)景的演進(jìn)來(lái)看，需求從單純注重性能開(kāi)始向功耗、數(shù)據(jù)為王的方向轉(zhuǎn)變。如果將波分電層產(chǎn)品比做是汽車(chē)，DCI產(chǎn)品更像是新能源產(chǎn)品，0-100加速是幾秒已經(jīng)不在重要，相反自動(dòng)駕駛、低使用成本、智能人機(jī)交互成為了主流。

  回到波分系統(tǒng)本身，我們也已經(jīng)度過(guò)了單純看性能、容量去pk一個(gè)設(shè)備優(yōu)劣的時(shí)代。性能滿(mǎn)足需求即可，相反可維護(hù)性和數(shù)字化是我們所極致追求的，相信隨著學(xué)習(xí)算法的引入，未來(lái)的光網(wǎng)絡(luò)可以真的實(shí)現(xiàn)Zero-touch。

  我們經(jīng)歷了光電解耦，打破了傳統(tǒng)的封閉性，但通過(guò)實(shí)際部署時(shí)我們發(fā)現(xiàn)，從工程角度來(lái)看，混合部署反而增加了工作量。因此我們從去年開(kāi)始標(biāo)準(zhǔn)化電層產(chǎn)品，犧牲了很多來(lái)?yè)Q取規(guī)模部署的一致性。這對(duì)產(chǎn)業(yè)也是一次迭代過(guò)程，也是一個(gè)挑戰(zhàn)。本次針對(duì)可插拔方案便是對(duì)相干器件解耦的探索，同時(shí)引入了眾多高性能器件。我們發(fā)現(xiàn)其實(shí)降成本與高性能器件是可以兼顧的?？紤]到DCO適配的復(fù)雜度，我們聯(lián)合阿里、百度、快手正在ODCC框架下推動(dòng)DCO的標(biāo)準(zhǔn)統(tǒng)一化，包括主要寄存器的映射關(guān)系、光學(xué)參數(shù)、告警以及功能等，歡迎感興趣的同志們加入我們的行列，讓我們一起打造更好用的光網(wǎng)絡(luò)系統(tǒng)。