康寧光通信馬銳：IT服務數(shù)據(jù)中心的設計淺析

　　Iccsz訊 康寧光通信企業(yè)網(wǎng)亞太區(qū)市場經(jīng)理馬銳對IT服務數(shù)據(jù)中心的設計進行了淺析，隨著云計算技術安全性穩(wěn)定性的大幅提高，越來越多的企業(yè)開始使用第三方云服務來處理各種數(shù)據(jù)業(yè)務需求。因此，云服務對網(wǎng)絡基礎設施的投入在未來幾年將會迅速增加，成為數(shù)據(jù)中心市場發(fā)展的主要驅動力。相比較而言，傳統(tǒng)企業(yè)IT基礎設施費用則呈現(xiàn)出逐年下降的趨勢(如圖1所示)。

圖1. 全球網(wǎng)絡基礎設施費用細分市場對比趨勢  來源：LightCounting and Forbes

　　用于第三方IT服務的云數(shù)據(jù)中心與傳統(tǒng)企業(yè)數(shù)據(jù)中心對比，具有很多新的特點。云數(shù)據(jù)中心需要更高的帶寬，更低的時延，更大的網(wǎng)絡規(guī)模和更快的升級頻率等。2016年大約全球80%的40GbE光傳輸設備銷售額來自互聯(lián)網(wǎng)云服務企業(yè)。從2017年開始由于云數(shù)據(jù)中心的驅動100GbE光傳輸設備需求迅速增長。預計到2022年云服務對以太網(wǎng)收發(fā)器的需求將達到全球市場的70%(如圖2所示)，并且在2018年后開始帶動200GbE和400GbE的銷售。相對而言，傳統(tǒng)企業(yè)對以太網(wǎng)收發(fā)器的需求將會保持平穩(wěn)，并將長期以10GbE網(wǎng)絡為主。本文中我們將根據(jù)IT服務類用戶的需求特點對數(shù)據(jù)中心光纖類型的選擇，傳輸方式的選擇和布線結構的選擇進行淺析。

圖2. 全球以太網(wǎng)收發(fā)器銷售額分布($M)  來源：LightCounting

　　光纖類型的選擇

　　在數(shù)據(jù)中心以太網(wǎng)設計中，光纖類型的選擇需要根據(jù)數(shù)據(jù)中心對傳輸速率，傳輸距離等的需求進行綜合考慮。目前云計算數(shù)據(jù)中心已經(jīng)普遍部署40G乃至100G以太網(wǎng)來支持日益增長的數(shù)據(jù)業(yè)務需求。多模光纖系統(tǒng)因技術成熟度高，總體成本較低等優(yōu)點，仍舊被大多數(shù)數(shù)據(jù)中心所采用。然而業(yè)界普遍認為傳統(tǒng)的OM3/4多模光纖主要用來支持100m-150m的短距離傳輸。因此為了延長多模光纖在高速網(wǎng)絡中的傳輸距離，相關國際標準組織正式命名了基于波分復用技術的OM5多模光纖。

表1. 使用不同光纖類型和收發(fā)器支持的40G/100G以太網(wǎng)最大傳輸距離對比

　　*COC=使用Corning產(chǎn)品測試

　　面對三種多模光纖，數(shù)據(jù)中心設計人員應該根據(jù)數(shù)據(jù)中心的實際需求進行選擇。在表1中我們列出了不同光纖類型使用不同收發(fā)器時能夠支持40G/100G以太網(wǎng)的最大傳輸距離。目前因只有40G SR4和100G SR4是IEEE正式發(fā)布的國際標準，因此使用其他收發(fā)器類型的傳輸距離均為企業(yè)測試結果。根據(jù)表1數(shù)據(jù)可以看出在不使用SWDM收發(fā)器的前提下，OM5光纖與OM4光纖支持的40G/100G最大傳輸距離相同。而且通過使用eSR4收發(fā)器的并行通信方式，OM4光纖可以支持550m(40G)和300m(100G)的最大傳輸距離，均長于使用SWDM收發(fā)器下的OM5光纖的傳輸距離。因此在數(shù)據(jù)中心傳輸距離需要超過150m時OM5光纖并非唯一選擇。此外，康寧根據(jù)對過去三年部署的OM3和OM4數(shù)據(jù)中心通道長度的統(tǒng)計發(fā)現(xiàn)，大約95%已部署OM3系統(tǒng)90%已部署OM4系統(tǒng)長度在100m以內(nèi)(如圖3所示)。總體來說OM3/OM4光纖能夠滿足90%的40G/100G數(shù)據(jù)中心連接需求。對于少數(shù)需要支持300m傳輸?shù)?A href="http://odinmetals.com/site/CN/Search.aspx?page=1&keywords=%e6%95%b0%e6%8d%ae%e4%b8%ad%e5%bf%83&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">數(shù)據(jù)中心，則可以使用OM4/eSR4或OM5/SWDM的組合方式。

圖3. 數(shù)據(jù)中心以太網(wǎng)OM3/4連接通道長度分布

　　傳輸方式的選擇

　　近年來云數(shù)據(jù)中心的發(fā)展持續(xù)驅動對高速數(shù)據(jù)傳輸?shù)男枨?。傳統(tǒng)上我們一直在使用加快光源開關速率的方式在單一通道內(nèi)增加串行傳輸速率，例如從1G增加到10G。但隨著對更高速率網(wǎng)絡需求的大幅提升，傳統(tǒng)的串行傳輸方式已經(jīng)無法滿足數(shù)據(jù)中心發(fā)展的需要。目前能夠支持40G/100G網(wǎng)絡的傳輸方式主要可分為兩類，一類是基于WDM技術的串行傳輸方式，一類是通過在多根光纖上同時傳輸數(shù)據(jù)的并行傳輸方式。我們在表2中簡述了兩種傳輸方式的優(yōu)缺點和主要應用環(huán)境。

表2. WDM串行傳輸與并行傳輸方式的對比

　　與選擇光纖類型類似，選擇哪種傳輸方式主要根據(jù)數(shù)據(jù)中心部署速率，傳輸距離以及整體預算等進行綜合考慮。目前大多數(shù)已部署的40G/100G數(shù)據(jù)中心均采用并行傳輸方式。主要原因有如下幾點。首先，采用并行傳輸可以滿足絕大多數(shù)40G/100G數(shù)據(jù)中心對傳輸距離的要求。此外，并行傳輸使用的收發(fā)器可以利用現(xiàn)有收發(fā)器的市場規(guī)模優(yōu)勢降低成本。例如40G收發(fā)器只需使用4個相同的10G光源和光組件，既有產(chǎn)品市場規(guī)模大，成熟度高，相應的價格較低。如果使用40G波分復用收發(fā)器，則需要使用多個不同波長的光源，新波段的光源因處于產(chǎn)品生命周期的早期，成本較高。

　　并行傳輸方式被廣泛使用的另一個主要原因是并行傳輸支持端口分支應用。使用并行傳輸方式的40G/100G光收發(fā)器既可以傳輸一路40G/100G信號，又可以同時傳輸4路獨立的10G/25G信號。這種方式給用戶帶來的一個最顯著的好處就是可以在相同的空間內(nèi)提高10G/25G端口的密度。我們以40G網(wǎng)絡為例來具體說明使用端口分支方式如何提高端口密度。

　　常規(guī)的帶有QSFP收發(fā)器端口的40G交換機板卡可以提供36個40G端口。如果我們使用端口分支的方式將一個40G端口分支為4個10G端口，則36個40G端口可以支持4×36=144個10G鏈路。比較而言，常規(guī)的帶有SFP+收發(fā)器端口的10G交換機板卡可以提供48個10G端口。如果需要達到同樣的10G端口數(shù)，則需要部署3個48口10G交換機。目前全球已出貨的40G QSFP交換機大概有一半應用于10G端口分支。采用這種方式不但可以提高10G端口密度3倍左右，而且每個10G端口能耗可以降低60%，成本可以降低30%-45%。而且當數(shù)據(jù)中心未來需要升級為全40G網(wǎng)絡時，無需重新購買40G收發(fā)器和交換機就可以平滑升級。同樣的方式也適用于100G乃至未來的200G/400G網(wǎng)絡(如圖4所示)。因此，在可以預見的未來，并行傳輸方式仍將被大多數(shù)高密度數(shù)據(jù)中心所采用。

圖4. 并行分支應用演進

　　布線結構的選擇

　　為了應對高速增長的數(shù)據(jù)處理需求，尤其是逐漸增加的數(shù)據(jù)中心內(nèi)服務器之間東西向的數(shù)據(jù)傳輸需求，云數(shù)據(jù)中心開始采用有別于傳統(tǒng)三層交換網(wǎng)絡結構的新型網(wǎng)絡來提高效率，降低時延。其中如圖5所示的脊葉(Spine-leaf)兩層網(wǎng)絡結構近來被越來越多的云數(shù)據(jù)中心所采用。這種網(wǎng)絡結構需要每一個脊交換機與每一個葉交換機相連，從而提高路由效率。隨著云數(shù)據(jù)中心規(guī)模的不斷增大，不但在一個數(shù)據(jù)中心內(nèi)部需要大量的布線連接，而且在一個園區(qū)內(nèi)的不同數(shù)據(jù)中心之間也需要大量的布線連接。數(shù)據(jù)中心內(nèi)和數(shù)據(jù)中心之間的全交叉互聯(lián)需求給布線結構的設計以及安裝測試等都帶來了新的挑戰(zhàn)。

圖5.傳統(tǒng)三層網(wǎng)絡結構與脊葉(Spine-leaf)兩層網(wǎng)絡結構的對比

　　我們以圖6所示的網(wǎng)絡示意圖為例來分析使用不同布線方案對用戶的影響。如表3所示，我們對比三種不同的布線方式，LC跳線端到端直連，72芯MTP預端接光纜連接MDA和HDA配線區(qū)，576芯MTP預端接光纜連接MDA和HDA配線區(qū)。通過對比我們可以發(fā)現(xiàn)，方案2和方案3采用結構化布線，預端接MTP光纜連接MDA和HDA配線區(qū)的方式相比較方案1跳線直連可以大大減少安裝，標識，測試以及故障查找的工作量，從而降低安裝測試和維護的成本，并且可以大量節(jié)省時間滿足云計算數(shù)據(jù)中心對快速部署快速交付的要求。此外，在網(wǎng)絡需要遷移增加和變更時，方案1需要重新在兩層交換之間安裝端到端的長跳線，工作量大安裝難度高。而方案2和方案3只需在MDA或HDA配線區(qū)使用短跳線配置即可。

圖6. 脊葉兩層交換網(wǎng)絡配置示意圖

(10G網(wǎng)絡，4個脊交換機，48個葉交換機，每個葉交換機帶32個服務器，收斂比1：1。)

表3. 布線方案對比

　　使用MTP預端接光纜的結構化布線方案對比LC跳線端到端直連的另一個優(yōu)點是可以大量節(jié)省線槽資源(如圖7所示)。對于服務于第三方的云計算數(shù)據(jù)中心來說，空間的節(jié)省就代表著成本的節(jié)省。在部署高密度的數(shù)據(jù)中心時，使用預端接方案，特別是使用高芯數(shù)預端接光纜可以有效節(jié)省線槽資源。不但便于安裝鋪設，更有利于整個數(shù)據(jù)中心系統(tǒng)的空氣流動從而降低日常運行時的制冷成本。

圖7.不同布線方案線槽占用率對比

        作者：康寧光通信企業(yè)網(wǎng)亞太區(qū)市場經(jīng)理馬銳