關(guān)于DCI中傳輸網(wǎng)絡(luò)的一些探討

　　Iccsz訊 關(guān)于DCI技術(shù)的探索，最近很是熱門，尤其是在SDN-WAN被大家重視起來后，關(guān)于DCI技術(shù)的介紹文章層出不窮。本文著重對DCI網(wǎng)絡(luò)中傳輸網(wǎng)絡(luò)部分的技術(shù)和現(xiàn)有一些情況進行介紹，希望能給大家?guī)硪欢ǖ膸椭?/p>

　　一、DCI網(wǎng)絡(luò)的由來

　　數(shù)據(jù)中心最開始，還比較簡陋，一個隨意的房間里面放幾個機柜+幾臺高P的空調(diào)，然后是單路普通市電+幾臺UPS，就成了一個數(shù)據(jù)中心。但是這種數(shù)據(jù)中心規(guī)模較小，可靠性也低，從90年代末開始瘋狂發(fā)展的互聯(lián)網(wǎng)，對數(shù)據(jù)中心的需求也是暴增，所以這類數(shù)據(jù)中心存在的不可解決的問題來了：空間位置不足，電力供應(yīng)不足，無冗余，無SLA保障，使得用戶開始找另外的數(shù)據(jù)中心，進行業(yè)務(wù)部署。這時候，新數(shù)據(jù)中心與老數(shù)據(jù)中心開始有了網(wǎng)絡(luò)互聯(lián)需求，產(chǎn)生了最初的DCI網(wǎng)絡(luò)，即Data Center Inter-connect，這里囊括了物理網(wǎng)絡(luò)層面和邏輯網(wǎng)絡(luò)層面的技術(shù)。

　　最初的DCI網(wǎng)絡(luò)，是通過internet直接互聯(lián)的，后來開始考慮到安全性，使用加密手段，考慮到的服務(wù)質(zhì)量，使用了專線，考慮到帶寬，使用了光纖直連。

　　二、 DCI網(wǎng)絡(luò)的發(fā)展

　　DCI網(wǎng)絡(luò)從Internet互聯(lián)，再到幾M專線，發(fā)展到現(xiàn)在數(shù)10T的波分互聯(lián)，其實經(jīng)歷時間不長，客觀上是對互聯(lián)網(wǎng)發(fā)展的一個反應(yīng)。最初，用戶使用公網(wǎng)VPN隧道的方式，將其業(yè)務(wù)直接通過公網(wǎng)進行傳輸，這種方式由于受到公網(wǎng)各環(huán)境(全球網(wǎng)絡(luò)帶寬擁塞，劣等路由，線路抖動，鏈接重置，防火墻等等)和成本情況的影響，所以適合小流量，帶寬質(zhì)量要求低，非實時，同時安全要求低的業(yè)務(wù)使用;后來，數(shù)據(jù)中心中的業(yè)務(wù)越發(fā)受到關(guān)注，業(yè)務(wù)開始逐漸增加部署，服務(wù)器數(shù)量成線性進行增長。大量業(yè)務(wù)部署后，這些通過網(wǎng)絡(luò)傳送的業(yè)務(wù)對公司、行業(yè)的影響越來越大，所以對網(wǎng)絡(luò)的要求也越來越高，首先就體現(xiàn)在帶寬和鏈路穩(wěn)定性上，因此數(shù)據(jù)中心用戶開始租用運營商電路專線，在SDH網(wǎng)絡(luò)上承載的MSTP專線由于其穩(wěn)定性高，帶寬更大，運營商復用程度高等特點，開始大賣。

　　后來，業(yè)務(wù)持續(xù)的爆發(fā)式發(fā)展，數(shù)據(jù)中心間的數(shù)據(jù)開始了對時延和冗余的要求，特別是金融類客戶，對時延要求特別高，于是對專線的要求也更為提升了;再者，用戶開始要求大顆粒，比如2.5G,10G的單鏈路帶寬，還要求雙路由保護，保證LSA達到4個9~5個9。

　　即便如此，互聯(lián)網(wǎng)發(fā)展的力量是驚人的，日志傳輸，數(shù)據(jù)庫同步等業(yè)務(wù)大勢增長。在出于成本，交付時長，服務(wù)質(zhì)量等各方面的需求考慮，拔尖的公司(特別是像Google，F(xiàn)B這樣擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司)開始撇開運營商，通過租用裸光纖來自己建DCI網(wǎng)絡(luò)。在使用裸光纖的最初時，最先也是通過單個光纖跑單個信號的方式，比如一對光纖用一個萬兆ZR的模塊，可以傳輸80公里遠，這距離對一般的同城數(shù)據(jù)中心之間傳輸已經(jīng)足夠了。但是這種方式的不足是，一方面光纖使用量隨帶寬線性增長、成本增高，另一方面單光纖的帶寬利用率太低(當然，對于運維來說還有裸光纖的資源和路由管理也是一個老大難問題)，而且此時單光纖10G帶寬也不能滿足業(yè)務(wù)增長的需求，于是DCI網(wǎng)絡(luò)開始了波分WDM時代。

　　WDM時代有兩種方式出現(xiàn)在了DCI網(wǎng)絡(luò)中，也就是粗波分CWDM和密集波分DWDM。最初的一些用戶基于成本的考慮，使用萬兆粗波分彩光光模塊，利用CWDM技術(shù)，進行DCI互聯(lián)，但是這種系統(tǒng)最多支持16波10G，且EDFA不能對粗波分所在波長進行信號放大，其無源中繼距離也相當受限。因此，隨著大規(guī)模數(shù)據(jù)傳輸?shù)男枨蟛粩嗌蠞q，用戶不得不開始使用容量和性能更高的DWDM系統(tǒng)。

　　純DWDM系統(tǒng)的DCI網(wǎng)絡(luò)結(jié)構(gòu)：

　　DWDM系統(tǒng)是目前通信網(wǎng)中最主要的大帶寬傳輸系統(tǒng)，各公司出于業(yè)務(wù)量，成本，運維各方面考慮的情況下，早期使用交換機插萬兆彩光模塊，出來的彩光以太網(wǎng)信號直接上無源DWDM設(shè)備。這種系統(tǒng)運維簡單，在成本可控的情況下，一般可以做到40波*10GE信號，總系統(tǒng)帶寬可以到400G，且無過高的網(wǎng)絡(luò)運維成本，普通IP網(wǎng)絡(luò)工程師進行低成本學習就可以進行運維，曾經(jīng)被一些有需求的公司廣泛使用。但是互聯(lián)網(wǎng)的發(fā)展是蓬勃的，10GE單波的信號很快就不能滿足需求了，這時候需要更高的單波信號系統(tǒng)，如單波40GE&100GE。不過此時能放在交換機上的40GE&100GE的以太網(wǎng)彩光光模塊，市場上還沒出現(xiàn)有，并且在出現(xiàn)后的成本也是長時間居高不下，但是業(yè)務(wù)等不了，因此只能另辟蹊徑，于是OTN這個在電信網(wǎng)絡(luò)中叱剎風云的東西出現(xiàn)在了Google，F(xiàn)B這樣互聯(lián)網(wǎng)公司的DCI網(wǎng)絡(luò)中。

　　互聯(lián)網(wǎng)開始接觸OTN，基本上都是從10GE開始的，那時10G彩光+DWDM盒子已經(jīng)不能滿足業(yè)務(wù)增長需求，并且這種方式由于沒有基于光層面的管理方式，所以也滿足不了批量網(wǎng)絡(luò)，特別是長距網(wǎng)絡(luò)的運營要求;加之在100G的OTN面市后，經(jīng)過幾年發(fā)展，尤其是經(jīng)過運營商的幾次集采以后，成本大幅下降。綜上這些原因，10GE彩光+DWDM盒子的方式開始慢慢被OTN系統(tǒng)替換了。由于技術(shù)發(fā)展和成本降低，在互聯(lián)網(wǎng)行業(yè)的DCI網(wǎng)絡(luò)中基本就沒有用過40G的OTN系統(tǒng)，直接從10G系統(tǒng)升級到100G系統(tǒng)，中間也考慮過如果使用100G系統(tǒng)時，故障后影響范圍面廣等問題，但是業(yè)務(wù)增長需求依舊是首要的，所以線路側(cè)(面向傳輸光纖一側(cè)的信號)從10G直接到了100G，保證了線路側(cè)的波分系統(tǒng)能滿足長期帶寬發(fā)展的需求。而客戶側(cè)(面向交換機對接一側(cè)的信號)，考慮到現(xiàn)有10G客戶系統(tǒng)還挺多，為了保護已有投資，需要兼容現(xiàn)有10G顆粒業(yè)務(wù)，并在未來可以升級為客戶側(cè)100G系統(tǒng)，所以為了讓10G和100G系統(tǒng)在DCI網(wǎng)絡(luò)升級可以進行過渡，就出現(xiàn)了基于10個ODU2–>1個ODU4的客戶側(cè)10*10G，線路側(cè)1*100G的業(yè)務(wù)卡，并且這個板卡得到廣泛應(yīng)用。

　　OTN網(wǎng)絡(luò)以其豐富的管理開銷，高可靠和多樣化的保護方式，集中專業(yè)化NMS管理平臺，以及大帶寬，的確為互聯(lián)網(wǎng)的發(fā)展起到了及其重要的作用，讓網(wǎng)絡(luò)運營更加專業(yè)和細分，當然最重要的是滿足的互聯(lián)網(wǎng)業(yè)務(wù)快速增長的需求。

　　使用OTN進行點到點DCI網(wǎng)絡(luò)的典型拓撲：

　　此時OTN網(wǎng)絡(luò)，已經(jīng)不再是電信網(wǎng)絡(luò)專有技術(shù)了，互聯(lián)網(wǎng)的崛起，讓這樣一個傳統(tǒng)的電信網(wǎng)絡(luò)技術(shù)進入了DCI網(wǎng)絡(luò)行業(yè)。

　　三、 DCI網(wǎng)絡(luò)現(xiàn)在的運營路數(shù)

　　DCI網(wǎng)絡(luò)在引入了OTN技術(shù)后，運營方面相當于新添加了一整塊以前沒有的工作。傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)為IP網(wǎng)絡(luò)，屬于邏輯網(wǎng)絡(luò)技術(shù)。而DCI中的OTN是種物理層的技術(shù)，和IP層怎么能一起友好方便的工作，是運營要走的一條很長的路。

　　目前在基于OTN的情況下的運營工作目的與數(shù)據(jù)中心各子系統(tǒng)的運營目的是一樣的，都是為了使基礎(chǔ)設(shè)施高成本投入的資源發(fā)揮最大功效，對上游業(yè)務(wù)提供最好的支撐。提高基礎(chǔ)系統(tǒng)的穩(wěn)定性，方便運維工作高效開展，協(xié)助資源合理分配投入，把已投入資源發(fā)揮更大作用，而把未投入的資源合理分配。

　　OTN的運營工作主要涉及幾塊：運營數(shù)據(jù)管理，資產(chǎn)管理，配置管理，告警管理，性能管理，DCN管理。

　　3.1 運營數(shù)據(jù)

　　對故障數(shù)據(jù)進行統(tǒng)計，區(qū)分人為故障，硬件故障，軟件故障，第三方故障，并對故障較高的類型進行統(tǒng)計分析，制定針對性的處理方案，未來標準化后，為自動化處理故障進行鋪墊。根據(jù)故障數(shù)據(jù)分析，為以后從架構(gòu)設(shè)計，設(shè)備選型等工作對系統(tǒng)進行優(yōu)化，以降低后期運維工作的開銷。針對OTN從光放，板卡，模塊，合分波器，跨設(shè)備跳纖，干路光纖，DCN網(wǎng)絡(luò)等進行故障統(tǒng)計，參入廠商維度，第三方維度等，多維度進行數(shù)據(jù)分析，以便數(shù)據(jù)更能準確反映網(wǎng)絡(luò)現(xiàn)狀。

　　對變更數(shù)據(jù)進行統(tǒng)計，區(qū)分變更復雜度、影響面，對人員進行分配，按照需求分析、變更方案、設(shè)定窗口、通告用戶、操作執(zhí)行、總結(jié)復盤的流程進行變更，最終可以把不同的變更分窗口，甚至安排在白天執(zhí)行，對變更人員分配更加合理，降低工作生活壓力，提升操作工程師的幸福感。并能把最終統(tǒng)計的數(shù)據(jù)整合，用作對人員工作效率和工作能力進行參考，同時也讓常態(tài)的變更向標準化、自動化方向發(fā)展，減少各方面開銷。

　　對OTN業(yè)務(wù)分布進行數(shù)據(jù)統(tǒng)計，幫助自身在業(yè)務(wù)量增加后，隨時掌握網(wǎng)絡(luò)使用情況，進行全網(wǎng)網(wǎng)絡(luò)分布和業(yè)務(wù)分布的把控。做粗了可以知道單個通道是由哪個網(wǎng)絡(luò)業(yè)務(wù)進行使用的，比如外網(wǎng)，內(nèi)網(wǎng)，HPC網(wǎng)絡(luò)，云服務(wù)網(wǎng)絡(luò)等，做細了可以結(jié)合全流量系統(tǒng)，對具體業(yè)務(wù)流量使用情況進行分析，將不同的帶寬成本分攤到不同的業(yè)務(wù)部門身上，幫助其進行業(yè)務(wù)流量優(yōu)化工作，隨時對低使用率的工作通道進行回收和調(diào)整，對高使用率的業(yè)務(wù)通道進行擴容。

　　統(tǒng)計穩(wěn)定性數(shù)據(jù)，該數(shù)據(jù)是SLA的主要參考數(shù)據(jù)，也是每個運維人員頭上的達摩克利斯之劍。OTN的穩(wěn)定性數(shù)據(jù)統(tǒng)計，由于本身具備保護所以要進行區(qū)分，比如單路由中斷，IP層面總帶寬不受影響是否計入SLA;如果IP帶寬減半，但對業(yè)務(wù)不影響，是否計入SLA;單個通道故障，是否計入SLA;保護路徑時延增加，雖然對網(wǎng)絡(luò)帶寬無影響，但是造成了業(yè)務(wù)有影響，是否計入SLA，等等。一般的做法是建設(shè)前就告知業(yè)務(wù)方存在的抖動、時延變化等風險，后期SLA，以故障通道數(shù)*單個故障通道帶寬為計算基礎(chǔ)，除以總通道數(shù)*對應(yīng)通道帶寬的總和，再乘以影響時間，得到的值作為SLA的計算標準。

　　3.2 資產(chǎn)管理

　　OTN設(shè)備的資產(chǎn)也要有生命周期管理(到貨、上下線、報廢、故障處理)，但是不同于服務(wù)器，網(wǎng)絡(luò)交換機等設(shè)備，OTN設(shè)備結(jié)構(gòu)更復雜。OTN設(shè)備涉及到的功能性板卡數(shù)量眾多，所以在進行管理時需要設(shè)計一個模式，以便進行全量的資產(chǎn)管理。數(shù)據(jù)中心內(nèi)的主要IP資產(chǎn)管理平臺是基于服務(wù)器、交換機，會設(shè)置主從設(shè)備級別。OTN在此基礎(chǔ)上，主從級別會涉及層級管理，但是層級更多。管理級別主要以網(wǎng)元->子架->板卡->模塊進行：

　　1. 網(wǎng)元是個虛擬設(shè)備，無實物，是OTN網(wǎng)絡(luò)中用作管理使用、第一邏輯點，屬于OTN網(wǎng)絡(luò)管理中的一級單位。一個物理機房可能有一個網(wǎng)元，也有可能有多個網(wǎng)元。一個網(wǎng)元包含多個子架，如光層的子架，電層子架，外置的合分波器也算是一個子架，每個子架可以串聯(lián)，屬于單個網(wǎng)元站點以內(nèi)的子架，進行編號。另外，網(wǎng)元沒有一個資產(chǎn)的SN號，所以在這方面要與管理平臺對齊，尤其要和采購清單、后期運維管理平臺的信息對齊，避免資產(chǎn)排查不對應(yīng)，畢竟網(wǎng)元是一個虛擬的資產(chǎn)。

　　2. OTN的設(shè)備最大的具體物理單位就是機框，也就是子架，屬于一級網(wǎng)元的次一級，既是二級單位，一個網(wǎng)元至少有一個子架設(shè)備。這些子架分不同廠商的不同型號，功能各不相同，有電子框、光子框、通用子架等等。子架具有具體的SN號，但是不能通過網(wǎng)管平臺自動獲取到其SN號，只能現(xiàn)場查看。子架上線后再移動變更情況極少。子架內(nèi)會涉及多種板卡安插。

　　3. OTN的二級子架內(nèi)部，是有安插具體的業(yè)務(wù)槽位的，槽位具有數(shù)字編號，用作插放各種光網(wǎng)絡(luò)的業(yè)務(wù)板卡。這些板卡是支撐OTN網(wǎng)絡(luò)業(yè)務(wù)的基礎(chǔ)，每塊板卡都可通過網(wǎng)管查詢到其SN號。而這些板卡就是OTN資產(chǎn)管理中的第三級單位。各種業(yè)務(wù)板卡大小不一，占用槽位數(shù)不同，功能也各不相同，因此當板卡需要歸屬到二級單位子架的時候，資產(chǎn)平臺要允許單個板卡可以使用多個或者半個槽位，以便對應(yīng)子架上的槽位編號。

　　4. 光模塊資產(chǎn)管理，模塊是依賴在業(yè)務(wù)板卡上使用的，所有業(yè)務(wù)板卡要允許進行光模塊歸屬，但不是所有OTN設(shè)備的板卡都要插光模塊，所以也要允許板卡上面沒有模塊的存在。每個光模塊都有SN號碼，插在板卡上的模塊要與板卡的端口編號進行對其，以便位置查找。

　　所有這些信息可以通過網(wǎng)管平臺的北向接口進行數(shù)據(jù)采集，通過線上采集與線下核查匹配進行資產(chǎn)信息的準確性管理。另外，OTN設(shè)備上還會涉及光衰器，短跳纖等，這些消耗性器件就可以直接按照耗材進行管理。

　　3.3 配置管理

　　波道配置時，需要進行業(yè)務(wù)配置，光層邏輯鏈路配置，鏈路虛擬拓撲圖的配置，如果單個波道可能配置了保護路徑，這個時候的波道配置就更加復雜，隨之而來的配置管理也將更復雜，單是管理波道走向就需要一個專用的業(yè)務(wù)表，還要在表格中區(qū)分業(yè)務(wù)方向，使用實線虛線。當OTN通道和IP鏈路進行對應(yīng)關(guān)系管理時，特別是在OTN保護的情況下，需要一個IP鏈路對應(yīng)多個OTN通道，這時管理量增加，且管理復雜，又增加了管理excel表的需求，要完整管理一條業(yè)務(wù)的所有元素，多達15個。當工程師要對某一個鏈路進行管理時，他需要把這個excel表格找出來，然后去廠商的NMS上面去尋找對應(yīng)，然后進行操作管理。這就更需要兩邊信息的同步性，由于OTN的NMS平臺和工程師自己做的excel都是兩個人為的數(shù)據(jù)，很容易出現(xiàn)信息不同步的情況，任何一個錯誤都將導致業(yè)務(wù)信息與實際關(guān)系不對應(yīng)，都可能導致在變更調(diào)整的時候影響業(yè)務(wù)。所以，將廠商的設(shè)備數(shù)據(jù)通過北向接口，采集到一個管理平臺，再在這個平臺上，將IP鏈路的信息進行匹配，使得信息能自動化的根據(jù)現(xiàn)網(wǎng)業(yè)務(wù)變化進行調(diào)整，確保信息的集中管理和單一準確來源，保證配置管理信息的準確性。

　　在進行OTN業(yè)務(wù)開通配置時，做好每個接口的信息描述，然后通過OTN的NMS提供的北向接口進行OTN信息收集，相關(guān)描述與IP設(shè)備通過北向接口采集到的端口信息進行配對，就能使得OTN通道與IP鏈路在平臺化上的管理，免去人工進行信息更新工作。

　　對于DCI傳輸網(wǎng)絡(luò)的使用中，盡量避免使用電交叉的業(yè)務(wù)配置，這種方式在管理起來邏輯極為復雜，并且本身也不適用DCI網(wǎng)絡(luò)的模型，可以從一開始的DCI設(shè)計時就進行規(guī)避。

　　3.4 告警管理

　　OTN由于其復雜的管理開銷，長距傳輸時的信號監(jiān)控，不同業(yè)務(wù)顆粒的復用嵌套等原因，出現(xiàn)一個故障可能會報幾十上百條告警信息。雖然廠商已經(jīng)做了四個等級的告警分類，每個告警取名不同，從工程師運維角度來看，依舊極為復雜，需要經(jīng)驗豐富的人員才能第一時間判斷出故障原因。而傳統(tǒng)的OTN設(shè)備的故障外發(fā)功能主要是使用短信貓或者郵件推送，但是兩個功能對于集成與互聯(lián)網(wǎng)公司基礎(chǔ)系統(tǒng)現(xiàn)有的網(wǎng)絡(luò)告警管理平臺來說比較特殊，單獨開發(fā)成本高，所以需要更標準的北向接口進行報警信息收集，在保留公司已有的相關(guān)平臺情況下，進行功能擴展，然后再將報警推送給運維工程師。

　　因此，對于運維人員來說，需要的是先讓平臺對OTN故障產(chǎn)生的告警信息進行自動收斂，然后再接收這些信息。因此，先在OTN的NMS上面進行告警分類設(shè)置，然后在上次的告警信息管理平臺上進行發(fā)送篩選工作。一般OTN告警的做法是NMS會設(shè)置推送所有第一二類的告警到告警信息管理平臺，然后平臺再進行按時間、按匯總的信息、接收人范圍等維度，把單個業(yè)務(wù)中斷的報警信息、主光路中斷報警信息、(若有)保護倒換報警信息推送給運維工程師，有以上三個信息大概就能進行故障判斷和處理了。在設(shè)置接收時，可以對合波信號故障這種斷光纖才會產(chǎn)生的重大告警，進行例如電話通知設(shè)置，例如以下幾種：

告警中文描述	告警英文描述	告警類型	級別及限定
OMS 層凈荷信號丟失	OMS_LOS_P	通信告警	緊急（FM）
輸入/輸出合路信號丟失	MUT_LOS	通信告警	緊急（FM）
OTS 凈荷信號丟失	OTS_LOS_P	通信告警	緊急（FM）
OTS 凈荷丟失指示	OTS_PMI	通信告警	緊急（FM）

 

　　NMS的北向接口，如華為中興阿朗現(xiàn)在都支持的XML接口進行告警信息推送，也是目前常用的。

　　3.5 性能管理

　　OTN系統(tǒng)的穩(wěn)定性，高依賴與其系統(tǒng)各方面的性能數(shù)據(jù)，比如干路光纖光功率管理，合波信號中的各通道光功率管理，系統(tǒng)OSNR余量管理等。公司網(wǎng)絡(luò)系統(tǒng)的監(jiān)控項目中應(yīng)該加入這些內(nèi)容，以便隨時了解系統(tǒng)性能，并及時進行性能優(yōu)化，便于網(wǎng)絡(luò)穩(wěn)定性的保證。另外，長期的光纖性能質(zhì)量監(jiān)控，還可以用來發(fā)現(xiàn)光纖路由的變動情況，防止出現(xiàn)一些光纖供應(yīng)商在未進行通知時，將光纖路由進行更改的情況發(fā)生，導致運維盲區(qū)，出現(xiàn)光纖同路由風險。當然，這需要大量數(shù)據(jù)進行模型訓練，以便對路由變動的情況發(fā)現(xiàn)更為準確。

　　3.6 DCN管理

　　這里的DCN是指OTN設(shè)備的管理通信網(wǎng)絡(luò)，負責對OTN各個網(wǎng)元進行管理的組網(wǎng)結(jié)構(gòu)，OTN的組網(wǎng)也會影響到DCN網(wǎng)絡(luò)的規(guī)模和復雜度。一般DCN網(wǎng)絡(luò)的做法有兩種：

　　1.在OTN全網(wǎng)中確認主備網(wǎng)關(guān)網(wǎng)元，其它非網(wǎng)關(guān)網(wǎng)元都為普通網(wǎng)元，所有普通網(wǎng)元的管理信號通過OTN中跨OTS層的OSC通道，到達主備網(wǎng)關(guān)網(wǎng)元，再接入到NMS所在的IP網(wǎng)絡(luò)中。這種方式可以減少網(wǎng)元在NMS所在IP網(wǎng)絡(luò)的部署量，而使用OTN本身系統(tǒng)解決網(wǎng)管問題，但是干路光纖中斷，對應(yīng)遠端的網(wǎng)元也會受影響而脫管了。

　　2.將OTN全網(wǎng)的網(wǎng)元全部配置成網(wǎng)關(guān)網(wǎng)元，每個網(wǎng)關(guān)網(wǎng)元都單獨與NMS所在的IP網(wǎng)絡(luò)進行通信，不走OSC通道。這樣保證了網(wǎng)元的管理通信，不受主干光纖中斷的影響，網(wǎng)元依舊可以遠程管理，都上IP網(wǎng)絡(luò)，對于傳統(tǒng)IP網(wǎng)工的運維成本也會降低。

　　DCN網(wǎng)絡(luò)在建設(shè)之初要進行好網(wǎng)元規(guī)劃和IP地址分配，特別是網(wǎng)管服務(wù)器部署時盡量與其它網(wǎng)絡(luò)隔離，否則后期網(wǎng)絡(luò)中mesh鏈路過多，維護中網(wǎng)絡(luò)抖動平凡，普通網(wǎng)元連不上網(wǎng)關(guān)網(wǎng)元等問題就會出現(xiàn)，也會容易出現(xiàn)生產(chǎn)網(wǎng)地址與DCN網(wǎng)絡(luò)的地址重復使用的問題，導致生產(chǎn)網(wǎng)受影響。

　　四、DCI網(wǎng)絡(luò)發(fā)展的方向

　　數(shù)據(jù)中心所有者的在建設(shè)跨數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)時，其考慮的問題主要是大帶寬，低延遲，高密度，快部署，易運維，高可靠性幾個問題。目前主流的大帶寬OTN技術(shù)主要是幾家大型電信設(shè)備制造廠商所把控(芯片另說)，比如華為，中興，阿朗。他們面對的主要客戶是傳統(tǒng)電信運營商，所以O(shè)TN這個產(chǎn)品特點就主要面對這些運營商的業(yè)務(wù)特點進行設(shè)計，也正因為如此，目前OTN其在互聯(lián)網(wǎng)行業(yè)的DCI網(wǎng)絡(luò)應(yīng)用中出現(xiàn)越來越多的不和諧的問題。

　　OTN設(shè)備的特點是，也同樣是DCI所遇到的問題，豐富的業(yè)務(wù)開銷，網(wǎng)絡(luò)具備強大的OAM能力，不同顆粒帶寬的調(diào)度復用能力，長距離情況下的線路容錯能力，采用低壓直流，設(shè)備功耗利用率低等特點。

　　1. 豐富的業(yè)務(wù)開銷能力，要求運維人員更專業(yè)化能力，更依賴廠商技術(shù)支持，技術(shù)更加封閉。

　　2. 強大的OAM能力，標準不統(tǒng)一，與跨網(wǎng)絡(luò)的對接更加困難更加獨立，無用的功能也對DCI網(wǎng)絡(luò)帶來了更多的傳輸運營成本。

　　3. 不同的顆粒的調(diào)度能力，使得業(yè)務(wù)封裝幀結(jié)構(gòu)更為復雜，嵌套字節(jié)更多。

　　4. 長距離的線路容錯能力，使得FEC的算法復雜，消耗的開銷更大和處理時間更長

　　5. OTN設(shè)備48V-DC的供電模式，和大部分數(shù)據(jù)中心所使用的標準19英寸220V-AD(或者240V-DC)機柜不同，安裝復雜且需要機房電力改造

　　6. 傳統(tǒng)OTN設(shè)備機框大，不適合標準機柜安裝，且容量密度不高，后期擴展麻煩且要機柜騰挪或改造新加。

　　目前，我們的DCI網(wǎng)絡(luò)主要是是為跨數(shù)據(jù)中心的數(shù)據(jù)提供管道，業(yè)務(wù)模型特點主要是：帶寬顆粒度要求統(tǒng)一且單一，帶寬大，跨數(shù)據(jù)中心的業(yè)務(wù)(尤其多活I(lǐng)DC，大數(shù)據(jù)類業(yè)務(wù))延時要求低，對網(wǎng)絡(luò)的穩(wěn)定性要求較高;同時由于互聯(lián)網(wǎng)行業(yè)缺少相關(guān)的專業(yè)技術(shù)人員，DCI網(wǎng)絡(luò)的運維工作需要“簡單”“簡單”“簡單”—重要事情說三遍(哪種網(wǎng)絡(luò)不是呢?);互聯(lián)網(wǎng)的爆發(fā)式發(fā)展，使得建設(shè)和擴容周期要求更短(運營商的OTN擴容周期一般是半年~1年，而互聯(lián)網(wǎng)自己的DCI擴容要求是1~3個月)，因此要壓縮各方面的時間。

　　因此OTN為DCI提供了一種可用的解決方案，但是OTN絕不是DCI最合適的方案，在DCI網(wǎng)絡(luò)蓬勃發(fā)展的現(xiàn)在，越來越需要一些合適的解決方案出現(xiàn)，以解決從成本到建設(shè)運維上遇到的各種問題。而這些問題，無外乎就是圍繞這DCI網(wǎng)絡(luò)的六個要求來的(大帶寬，低延遲，高密度，快部署，易運維，高可靠性)：

　　1. 大帶寬，DCI傳輸網(wǎng)絡(luò)不像運營商會有豐富的類型顆粒，DCI傳輸網(wǎng)絡(luò)的帶寬顆粒更簡單，目前常用的10G或者100G，未來200G/400G等，所以有了大帶寬就不需要再做其它顆粒度的帶寬。DCI傳輸網(wǎng)絡(luò)由于其距離范圍一般不會過長的特點，使用基于200G的PM-16QAM雙載波調(diào)制的400G系統(tǒng)，無電中繼傳輸距離大概能傳輸500公里(PM-64QAM的大概是200公里)，使得DCI這種城域骨干傳輸不會受限于距離。

　　2. 低延遲，DCI的業(yè)務(wù)要求，特別云計算做池化資源，多活數(shù)據(jù)中心時，延遲是按照微秒級別計算，讓數(shù)據(jù)傳輸時間越短越好，恨不得超光速。去掉不必要的數(shù)據(jù)處理工作，降低信號傳輸路徑兩個方面努力。比如，去掉100G OTN所使用的SD-FEC功能，單個背靠背可以節(jié)省200微秒時間，去掉跨階的OTN封裝可以節(jié)省幾十微秒時間，對重點業(yè)務(wù)合理使用hubspoke拓撲，保證路徑最短。當然也可以再次配合IP層面的MPLS,QOS等，盡量保證數(shù)據(jù)轉(zhuǎn)發(fā)層面的時延也更優(yōu)。

　　3. 高密度，單個U，或者2U，能做到上T的帶寬，DWDM光層與電信號層面解耦，提升設(shè)備的密度接口，縮小光模塊的尺寸。比如，使用QSFP28的光模塊，可以保證單設(shè)備的100G接入能力大大提升，線路側(cè)使用CFP2的采光模塊，可以保證整體設(shè)備傳輸帶寬能力提升，1U可以1.6T，3.2T。目前國際上已經(jīng)有很多相關(guān)產(chǎn)品在出現(xiàn)，比如ADVA，coriant，ciena這類的公司，當然國內(nèi)的華為也推出了相關(guān)的902產(chǎn)品，不過截止文章完成，好像還沒有完成工信部的入網(wǎng)測試。高密度會產(chǎn)生高功耗的散熱問題，于是要摒棄原有OTN的左右進出風、上下進出風的散熱方式，高密度設(shè)備需要采用與數(shù)據(jù)中心服務(wù)器交換機一樣的前后進風散熱的方式，以滿足設(shè)備散熱需求。

　　4. 快部署，使用目前標準化IDC的19英寸機架，類同于主流服務(wù)器的形態(tài)，使用AC-220V直接供電，免掉電力和機柜改造，實現(xiàn)貨到機房馬上上架，插上電源就能配業(yè)務(wù)，并做好標準化驗收工作，實現(xiàn)快部署。

　　5. 易運維，DCI的業(yè)務(wù)模型要求，跨數(shù)據(jù)中心的距離不會很遠，而復雜的管理開銷，OAM等功能在這種場景中沒有了太大發(fā)揮作用的必要，并且復雜處理還降低了數(shù)據(jù)傳輸效率，提升了數(shù)據(jù)處理時間，還對技術(shù)的要求更高，更封閉。直接以太網(wǎng)的方式對接信號，免去OTN的復雜開銷，那么傳統(tǒng)IP網(wǎng)絡(luò)工程師就能對DCI系統(tǒng)運維。在結(jié)合如YANG model，REST API，netconf等新型北向接口后，對DCI傳輸設(shè)備管理與IP網(wǎng)絡(luò)設(shè)備管理用同一種接口進行開發(fā)，從而更好的進行統(tǒng)一的平臺化網(wǎng)絡(luò)集中管理。

　　6. 高可靠性，多物理路由和對上層無感知的保護技術(shù)將繼續(xù)在DCI傳輸網(wǎng)絡(luò)中發(fā)揮作用，底層鏈路層面的故障除非在完全中斷的情況下，其它原因都不應(yīng)該對業(yè)務(wù)產(chǎn)生任何感知或影響，不管是保護倒換，鏈路抖動，時延增加等。

　　根據(jù)這些特點，目前常規(guī)的DCI解決方案大概有兩種：

　　1. 使用純DWDM設(shè)備，交換機上使用彩光光模塊+DWDM的合分波器，在單波道10G的情況下，這種成本極低，且產(chǎn)品可選度豐富，10G彩光模塊在國內(nèi)早已生產(chǎn)，成本已經(jīng)很低(其實10G的DWDM系統(tǒng)，在早幾年前就開始火了，但一些更大帶寬需求的到來，不得不將其淘汰掉，而那時100G的彩光模塊還未出現(xiàn)。)100G目前國內(nèi)剛開始有相關(guān)的彩光模塊出現(xiàn)，成本還不是足夠低，但是其總會在DCI網(wǎng)絡(luò)中寫上濃墨重彩的一筆。

　　2. 使用高密度的傳輸OTN設(shè)備，它們220V交流電，19英寸設(shè)備，1~2U高，部署更加方便。關(guān)閉SD-FEC功能，降低時延，配合光層面的路由保護，提升穩(wěn)定性，并且行的可控制型的北向接口也提升了設(shè)備擴展功能開發(fā)能力。但是仍舊有OTN技術(shù)的保留，管理還是會相對復雜。

　　除此之外，現(xiàn)在第一梯隊的DCI網(wǎng)絡(luò)建設(shè)者正在做的事情主要是對DCI傳輸網(wǎng)絡(luò)進行解耦，包括0層的光與1層的電的解耦，以及傳統(tǒng)廠商的NMS與硬件設(shè)備的解耦。傳統(tǒng)的做法是某廠商的電處理層面設(shè)備必須配合同樣該廠商的光層面設(shè)備，且硬件設(shè)備必須配合廠商專有的NMS軟件進行管理，這種傳統(tǒng)方式有幾大弊端：

　　1. 技術(shù)封閉，理論上光電層面是可以互相解耦的，而傳統(tǒng)廠商故意做成不解耦，以便控制技術(shù)的權(quán)威性。

　　2. DCI傳輸網(wǎng)絡(luò)的成本主要集中在電信號處理層，系統(tǒng)初期建設(shè)成本低，但是擴容時候廠商會以技術(shù)唯一性為要挾進行提價，擴容成本大大增高

　　3. DCI傳輸網(wǎng)絡(luò)的光層面投入后，受限只能同一廠商的電層設(shè)備使用，設(shè)備資源利用率低，不符合網(wǎng)絡(luò)資源池化發(fā)展方向就，更不利于統(tǒng)一的光層資源調(diào)度。解耦后的光層面，在建設(shè)初期單獨投資，不受未來多廠商同用一套光層系統(tǒng)的限制，并且結(jié)合光層的北向接口，配合SDN技術(shù)，進行光層面的波道資源進行方向調(diào)度，提升業(yè)務(wù)靈活性。

　　4. 網(wǎng)絡(luò)設(shè)備直接通過例如YANGmodel的數(shù)據(jù)結(jié)構(gòu)，與互聯(lián)網(wǎng)公司自有的網(wǎng)管平臺進行無縫對接，節(jié)省了管理平臺的開發(fā)投入，同時免去了廠商提供的NMS軟件，提升了數(shù)據(jù)采集效率和網(wǎng)絡(luò)管理效率。

　　所以，光電解耦是DCI傳輸網(wǎng)絡(luò)發(fā)展的新方向，可以預見的未來DCI傳輸網(wǎng)絡(luò)光層可以是配合ROADM+南北向接口構(gòu)成的SDN技術(shù)，對波道進行任意開通、調(diào)度和回收，系統(tǒng)里面多家廠商的電層器件混合使用，甚至以太網(wǎng)接口和OTN接口混合在同一套光系統(tǒng)上使用的情況，都將成為可能，屆時系統(tǒng)的擴容、變更等方面的工作效率將大大提升，光電層面也將更方便進行區(qū)分，網(wǎng)絡(luò)邏輯管理更清晰，成本將大大降低。

　　對于SDN來說，核心前提是網(wǎng)絡(luò)資源的集中化管理分配。所以，梳理下在當前的DCI傳輸網(wǎng)絡(luò)上可以進行管理的DWDM傳輸網(wǎng)絡(luò)資源有哪些呢?

　　波道、路徑、帶寬(頻率)就這三樣。因此，光+IP的協(xié)作中的光其實就是圍繞著這三個點來的管理和分配來進行的。

　　IP和DWDM的波道是解耦的關(guān)系，所以如果一個IP邏輯鏈路與一個DWDM的波道對應(yīng)關(guān)系是前期配置完成的，而后期要調(diào)整這個波道與IP的對應(yīng)關(guān)系，可以通過OXC的方式，來進行毫秒級的快速波道切換，能使得IP層面無感知。通過對OXC的管理，可以實現(xiàn)各個站點上的傳輸波道的資源集中化管理，以至于配合業(yè)務(wù)SDN化。

　　單個波道的與IP的解耦調(diào)整，僅僅是一個小的部分，如果考慮在調(diào)整了波道的同時，還能進行帶寬的調(diào)整，就可以解決不同業(yè)務(wù)在不同時間段的帶寬需求調(diào)整問題，大大提升已建設(shè)帶寬的使用率。所以，在配合了OXC進行波道調(diào)整的同時，結(jié)合靈活柵格技術(shù)的合分波器，可以讓單個波道不再有固定的中心波長，而是讓其覆蓋可以伸縮的頻率范圍，從而達到帶寬大小的靈活調(diào)整。并且，在對于一個網(wǎng)絡(luò)拓撲內(nèi)，使用多個業(yè)務(wù)的情況下，可以進一步提升DWDM系統(tǒng)的頻率使用率，將已有資源進行飽和使用。

　　在有了前兩者的動態(tài)管理能力后，傳輸網(wǎng)絡(luò)的路徑管理可以幫助整個網(wǎng)絡(luò)拓撲具有更高的穩(wěn)定性。根據(jù)傳輸網(wǎng)絡(luò)的特點，每個路徑都具備有獨立的傳輸波道資源，因此將每一段傳輸路徑上的波道進行統(tǒng)一管理分配的意義非凡，這將為多路徑的業(yè)務(wù)提供最優(yōu)的路徑選擇，并最大限度的將所有路徑上的波道資源進行使用。就如同ASON中，對不同業(yè)務(wù)進行金銀銅區(qū)分，以保證最高等級業(yè)務(wù)的穩(wěn)定性。

　　例如，有A,B,C三個數(shù)據(jù)中心組成的一個環(huán)網(wǎng)。有業(yè)務(wù)S1(如內(nèi)網(wǎng)大數(shù)據(jù)業(yè)務(wù))，從A到B到C，占用了這個環(huán)網(wǎng)的1~5波，每一波100G帶寬，頻率間隔為50GHz;有業(yè)務(wù)S2(外網(wǎng)業(yè)務(wù))，從A到B到C，占用了這個環(huán)網(wǎng)的6~9波，每一波100G帶寬，頻率間隔為50GHz。

　　就平時而言，這種帶寬和波道使用情況是滿足需求的，但是當有些時候，例如新增一個數(shù)據(jù)中心，業(yè)務(wù)需要短時間進行數(shù)據(jù)庫的遷移，那么內(nèi)網(wǎng)帶寬在這個時間段的需求就翻了幾倍，原來500G帶寬(5個100G)，現(xiàn)在需要2T的帶寬。那么傳輸層面的波道可以進行重新計算，在波分層部署5個400G通道，每個400G的波道的頻率間隔由原來的50GHz變成75GHz，配合靈活光柵的ROADM和合分波器，打通整個傳輸層面的路徑，于是這5個波道占用了375GHz的頻譜資源。在傳輸層面的資源準備就緒后，再通過集中管理平臺，對OXC進行調(diào)整，在毫秒級別的時延下，將原來1~5波100G業(yè)務(wù)信號所使用的傳輸通道，調(diào)整到新準備的5個400G業(yè)務(wù)通道上去，這樣就完成了帶寬和波道根據(jù)DCI的業(yè)務(wù)需求進行靈活調(diào)整的功能，這樣是可以實時進行的。當然，這里面的IP設(shè)備的網(wǎng)絡(luò)連接器需要支持100G/400G的速率可調(diào)和光信號頻率(波長)調(diào)整的功能，這將不是問題。

　　關(guān)于DCI的網(wǎng)絡(luò)技術(shù)中，傳輸能完成的工作是非常底層的，要做到更智能的DCI網(wǎng)絡(luò)，還需要配合IP一起實現(xiàn)。例如配合在DCI的IP內(nèi)網(wǎng)使用MP-BGP EVPN+VXLAN，快速部署跨DC的二層網(wǎng)絡(luò)，這能對已有的網(wǎng)絡(luò)設(shè)備進行較高的兼容，并滿足租戶虛機跨DC靈活漂移等需求;在DCI的IP外網(wǎng)使用segment routing，進行基于源業(yè)務(wù)區(qū)分的流量路徑調(diào)度，滿足跨DC出口的流量可視化，快速路由恢復，帶寬高利用率等需求;底層傳輸網(wǎng)絡(luò)配合多維度的OXC系統(tǒng)，可以實現(xiàn)比目前常規(guī)ROADM跟細顆粒度的業(yè)務(wù)路徑調(diào)度功能;使用無電的傳輸波長轉(zhuǎn)換技術(shù)，更能使得波道頻譜資源碎片化的問題迎刃而解。上層和下層的資源融合一起進行業(yè)務(wù)管理部署，靈活調(diào)配，提高資源利用率將是未來必然的方向。目前國內(nèi)一些大公司在關(guān)注這塊，一些初創(chuàng)的專業(yè)化公司已經(jīng)在進行相關(guān)技術(shù)產(chǎn)品的研發(fā)。希望在今年能看到相關(guān)的整體解決方案面市。或許不久的將來，OTN將在電信級網(wǎng)絡(luò)中也將消失，只剩DWDM。