數(shù)據中心網絡布線為大數(shù)據時代鋪路

       【訊石光通訊咨詢網】前言

        伴隨云時代的來臨，大數(shù)據(Big data)也吸引了越來越多的關注，人們用它來描述和定義信息爆炸時代產生的海量數(shù)據。我們來了解一下大數(shù)據的概念，大數(shù)據是指數(shù)據集，它的數(shù)據量已經大到無法用傳統(tǒng)的工具進行采集、存儲、管理與分析。IDC研究表明：全球產生的數(shù)據量僅在2011就達到1.8ZB(或1.8萬億GB)，且根據預測，未來十年全球數(shù)據存儲量將增長50倍。ZB到底是多大容量的概念?1ZB的對象存儲數(shù)據，相當于107億塊3T的硬盤，假設數(shù)據都是存儲3份，一臺服務器可以掛48塊硬盤，那么需要2億臺服務器。假設一個機架可以放10臺類似的服務器，那么將需要2000萬個機架的服務器才容得下1ZB。

        數(shù)據本身與通信技術的結合給現(xiàn)代人生活帶來不可比擬的便利性，我們日常生活、工作的每一方面對網絡與數(shù)據的依賴性越來越大，而所產生的數(shù)據需要有強大的網絡通信技術與大容量數(shù)據中心作后盾。大數(shù)據時代對數(shù)據中心網絡通信技術帶來很大的挑戰(zhàn)，本文將主要圍繞大數(shù)據時代數(shù)據中心網絡與布線系統(tǒng)的技術標準及網絡基礎設施物理層發(fā)展趨勢作一下探討。

        關鍵詞：大數(shù)據 云計算 數(shù)據中心布線系統(tǒng) 網絡基礎設施

        一、大數(shù)據與網絡技術發(fā)展的關系

        網絡應用需求的快速上升是數(shù)據量需求產生的主要來源，我們可以從全球IP數(shù)據通信量增長的趨勢中大致看到今后網絡應用需求量的增長，如下圖1。(Source: Cisco Visual Networking Index )

圖1

　　基于網絡流量的增長與網絡應用需求快速上升，IDC做出了今后幾年全球數(shù)據量將迅猛增長的預期 ，如下圖2顯示了從2005年到2015年間的數(shù)據存儲量的增長趨勢。

圖2

        數(shù)據中心數(shù)據存儲量增長與許多應用需求有關，筆者認為其中兩個領域對數(shù)據量的增長影響明顯：移動互連網與物聯(lián)網。移動互連網應用近年來快速崛起，根據Cisco的市場報告統(tǒng)計，移動互連網產生的數(shù)據量年均增長達到90%以上，且移動終端的總量即將超過傳統(tǒng)PC，這方面的增長將對全球數(shù)據量上升產生較大影響;另一方面物聯(lián)網在越來越多的行業(yè)中得到了應用， “萬物互聯(lián)”是物聯(lián)網的終極目標，這部分的數(shù)據增長是數(shù)據流量絕對量的增長。物聯(lián)網的時代將是傳感器自動不間斷上傳大量數(shù)據并通過網絡儲存在數(shù)據中心內，對網絡與數(shù)據中心的存儲量起到了很大推波助瀾的作用。

　　網絡是所有數(shù)據流通的基礎，大數(shù)據的產生與網絡技術的發(fā)展密切相關也是相輔相成，通信行業(yè)與IT行業(yè)需要更為緊密的“握手”才能使數(shù)據通信不產生瓶頸。事實上，網絡基礎設施也在朝著這個方向進行，目前國內的城域網干線網絡正在思考升級到100G的網絡，同時也在研究下一代400G的骨干。而為了支持移動終端的數(shù)據量快速上升，第4代移動通信LTE技術已經走向成熟，4G基站正在批量建設階段。而對于通用住宅方面已經在快速推進FTTH光纖到戶1G-EPON與10G-EPON的應用，種種網絡基礎設施的進步是為大數(shù)據產生與應用起到了橋梁紐帶作用，大數(shù)據與網絡基礎設施的發(fā)展相得益彰，所有網絡通信技術的進步是作為外圍網絡環(huán)境為大數(shù)據鋪路。如果我們把外圍的網絡基礎環(huán)境比作人體的神經，那么數(shù)據中心將是人體的大腦，而所有數(shù)據量的上升需要更大規(guī)模的數(shù)據中心與其相適應，對于數(shù)據中心內部的網絡基礎架構同樣面臨著進一步升級的需要，布線系統(tǒng)作為數(shù)據中心內部連接與管理的基礎設施，對于數(shù)據中心的運行可靠性、可管理性及大數(shù)據流的支持起到了十分關鍵的作用。

        二、數(shù)據中心網絡基礎標準化發(fā)展應對大數(shù)據

        根據2012版本的TIA-942-A數(shù)據中心電信基礎設施標準，對于數(shù)據架構基本還采用傳統(tǒng)的網絡架構模型，對于虛擬化的網絡架構基本沒有涉及?；诋斍熬W絡技術日新月異的變化狀況，云計算虛擬化的網絡發(fā)展特別是采用Fabric虛擬矩陣的網絡將是大型數(shù)據中心網格架構的重要發(fā)展趨勢，采用無阻塞的交換矩陣的網絡結構是從網絡層面應對大數(shù)據時代的技術手段之一。下圖3為典型的虛擬矩陣架構網絡。

圖3
　　

       為應對大數(shù)據的挑戰(zhàn)，云計算虛擬化網絡技術的應用是必然的技術發(fā)展趨勢，基于這樣的網絡架構的應用，2013年北美通信工業(yè)協(xié)會TIA正式批準了TIA-942-A-1新版數(shù)據中心基礎設施標準的附錄1，該附錄從新的主流虛擬化網絡架構并結合相應布線系統(tǒng)管理角度進行了定義。標準中網絡架構涉及胖樹型(Fat-Tree)、全網型(Full-Mesh)以及混合型的模塊化矩陣全網型(POD-Interconnect-Mesh)等多種應用方式。此標準的及時批準對支持當前及今后一段時間內數(shù)據中心特別是云計算數(shù)據中心網絡與布線系統(tǒng)的構建起到推動與促進作用，適應了大數(shù)據時代對網絡的基礎要求。

　　面臨海量的數(shù)據存儲與數(shù)據處理，數(shù)據中心為了提高資源利用效率與數(shù)據分析計算能力，將大量采用虛擬化云計算的技術，包括服務器虛擬化技術、網絡虛擬化技術以及存儲虛擬化技術等。網絡架構總體的趨勢將采用大二層虛擬化的網絡，核心層采用40G/100G，接入層采用10G的方式基本已經成為網絡升級的方向。當前可以參考的網絡物理層的標準如下圖4所示：

 

圖4
　　

        在上述虛擬矩陣的數(shù)據中心主干網絡中，更多地將從10G網絡升級到40G/100G。IEEE 803.3ba已經于2010年已經正式發(fā)布采用40G/100G的網絡技術標準，基于數(shù)據中心主干鏈路距離88%以上小于100米的距離，多模光纖OM3/OM4采用MTP與QSFP接口多通道并行傳輸?shù)姆绞交诹己玫男詢r比，被業(yè)界認為是數(shù)據中心主干鏈路應用的首選方案。當前標準中對于100G的應用方案采用的是10G*10的通道模型。2013年3月IEEE 802.3bm標準組織成立特別工作小組研究下一代基于多模OM3萬兆光纖25G*4通道支持100G最小100米的標準，此預研標準對后續(xù)數(shù)據中心的應用影響明顯，提高了光纖系統(tǒng)的應用密度，為后續(xù)更高級別的網絡擴展提供了空間與物理基礎。

        基于當前數(shù)據中心內主干網絡主要由光纖作為傳輸介質的背景，TIA標準化組織已經在研發(fā)基于100 Ohm平衡雙絞線銅纜支持40G BASE-T的網絡草案標準。

        PN-568-C.2-1已經發(fā)行，預計正式標準將于2014年正式發(fā)行，發(fā)行后正式標準的編號將定義為ANSI/TIA-568-C.2-1。該標準將銅纜雙絞線帶寬擴展至2000MHz，預計將繼續(xù)采用RJ45作為接口標準。定義銅纜級別為CAT.8，可以支持40G BASE-T網絡傳輸距離達到30米的距離，基本滿足數(shù)據中心40G鏈路55%的距離。銅纜支持40G的應用是對40G標準的一個重要補充，雖然距離比較短僅30米，在規(guī)模較大的數(shù)據中心主干內無法成為主流。但預期銅纜方案的成本優(yōu)勢將對大量規(guī)模較小的數(shù)據中心建設來說，是一種較有優(yōu)勢的方案,有助于促使數(shù)據中心更快及更大范圍推進40G網絡的應用。

        三、支持大數(shù)據網絡物理層技口技術分析

        當網絡主干走向40G/100G的高速網絡時，數(shù)據中心接入層設備與服務器網絡接口從1000M走向10G是必然，過去的接入層網絡速率在1000M及以下，采用銅纜RJ45的接口模式在整體市場中處于主導地位。而當網絡上升到10G時，將有多種接口模型可供選擇，現(xiàn)階段還沒有一種接口在市場上形成絕對主流。當前10G接口類型較多，技術要求也差異較大，應用10G接口前需要對主流的技術方案進行綜合評估與分析，以確定什么方案更符合各自的要求。下圖5為目前市場上主流的10G接口及參數(shù)以供參考。

圖5

 

       以上5種類型10G接口所列出的數(shù)據僅供參考，由于10G的技術更新速度很快，不同時間階段對于技術指標是有差異的。以上幾中10G接口類型中，基于功耗、端口密度、支持距離等方面思考，筆者認為長遠看CX4銅纜方案并不占有太大的優(yōu)勢。采用CX4接口的10G應用相對少，今后越來越少的用戶采用基于CX4接口的10G 應用。而共余4種方式，我們可以通過幾個應用方向進行分析，可以作為后續(xù)10G升級的參考選擇。

       1. SFP+ DAC的10G無源銅纜解決方案優(yōu)點：接口功耗小，相對成本在4中方案中較低，延時較低,適應于虛擬化的網絡環(huán)境。缺點：支持距離太短，基本只能適用于TOR(交換機置頂Top of the Rack)的網絡架構，不可以自適應向下兼容1000M的網絡應用。線纜本身故障需要帶SPF+插頭同步更換，維護成本相對較高。適用環(huán)境：應用于網絡結構相對簡單，設備變動、新增與移動較少且維護管理要求不高場合，如業(yè)務較單一的云計算模塊化數(shù)據中心或互連網數(shù)據中心等。

       2. SFP+ AOC的10G有源光纜解決方案優(yōu)點：接口功耗較小; 成本比DAC略高但相比其余方案要低，支持距離最長可達300米,可以支持EOR等各種網絡布線架構且光纜直徑較小，可以應用于高密度機柜布置;延時較低, 適應于虛擬化的網絡環(huán)境。缺點：不可以自適應向下兼容1000M的網絡應用。線纜本身采用有源芯片電路，故障率相對高，出現(xiàn)故障需要帶SFP+插頭連同內部光電收發(fā)芯片同步更換，維護成本很高。適用環(huán)境：應用于網絡管理簡單、設備變動、新增與移動較少且對網絡連接可靠性要求不高的場合，如云計算數(shù)據中心或第三方運維托管數(shù)據中心，以及網絡結構單一的備份數(shù)據中心等。

       3. SFP+ 10G BASE-SR的光纜解決方案優(yōu)點：芯片技術成熟，接口功耗較小;支持距離較長，OM3光纖300米及OM4光纖550米,可以支持TOR、EOR等各種網絡布線架構且光纜直徑較小，可以應用于高密度機柜布置; 光模塊與光跳線分離，無源光跳線可靠性高、日常維護方便、維護成本相對較低, 延時較低, 靈活適應于各種類型網絡環(huán)境。缺點：不可以自適應向下兼容1000M的網絡應用，總體方案成本相比較其他方案偏高。適用環(huán)境：應用于網絡結構復雜、設備變動、新增與移動比較頻繁且對網絡連接可靠性與管理要求較高的場合，能適用于各類數(shù)據中心應用的需要，特別對于金融業(yè)，政府部門及各類企業(yè)級數(shù)據中心中應用更合適。

       4. RJ45 BASE-T的銅纜解決方案優(yōu)點：成本相對光纖方案要低，且可以向下自適應1000M網絡。支持距離較長，最長可達100米,可以支持TOR、EOR等各種網絡布線架構。銅纜跳線與端口有源芯片分離，布線可靠性高且日常維護方便、維護成本相對較低,靈活適應于各種類型網絡環(huán)境。缺點：芯片技術還不太成熟，功耗相對較大，特別是長距離應用，線徑粗不適合很高密度的機柜管理，延時相對大，對云計算虛擬化不利。適用環(huán)境：應用于網絡結構復雜、設備變動、新增與移動比較頻繁且對網絡連接可靠性要求比較高但對密度要求不高且對機房節(jié)能要求不高的數(shù)據中心環(huán)境，如金融業(yè)，政府部門及各類企業(yè)級數(shù)據中心中。

        需要關注的是，10G BASE-T的芯片技術還在不斷演進，從早期10G BASE-T采用130nm的技術，到現(xiàn)在的40nm芯片技術，功耗已經從超過10W每端口降到的4-6W，今后還將有望進一步采用28nm芯片，預計功耗可以小于3W。各種10G接口技術都在進步，不同時期的優(yōu)勢特點也有變化，至于什么技術在市場上能笑到最后，仍需拭目以待。

        四、大數(shù)據提升智能基礎設施管理系統(tǒng)應用價值

        大數(shù)據時代的數(shù)據中心布線系統(tǒng)，我們不僅僅關注前面所述的作為10G/40G/100G的傳輸通道，管理是數(shù)據中心布線的另一項非常重要卻易被忽視的功能。大數(shù)據的壓力迫使數(shù)據中心發(fā)揮更高運算與數(shù)據處理效率，促進虛擬化技術在數(shù)據中心中更普遍的應用，而網絡虛擬化技術卻進一步加劇了物理層管理的難度。智能基礎設施管理系統(tǒng)以管理為核心的理念將在今后的數(shù)據中心中發(fā)揮出更大的價值。參考以下圖6虛擬化網絡解決方案，下圖為基于數(shù)據中心330機架*4總共1320個機架的網絡規(guī)模，采用TOR的架構，TOR交換下行服務器機柜采用獨立柜內布線的方式，這部分不是智能基礎設施管理系統(tǒng)實時監(jiān)控的重點，管理的重點是分布式轉發(fā)核心區(qū)域，此區(qū)域實際部署過程中如管理不善極易混亂，采用智能基礎設施管理系統(tǒng)對相應物理鏈路層路由進行主動管理模式，使得更復雜網絡正確實施提供了保障。

圖6 Source From DELL Force10

 

        虛擬化網絡為了降低延時提升數(shù)據轉發(fā)效率，采用了非常復雜的交換矩陣，導致鏈路的連接關系非常復雜，采用傳統(tǒng)手動工單對布線系統(tǒng)被動管理的方式將很難適應此類網絡結構的管理，同時項目移交后對用戶的后續(xù)日常維護將造成非常大的困擾。采用智能基礎設施管理系統(tǒng)不僅僅能對布線系統(tǒng)進行操作指引與實時導航作用，更重要的是智能基礎設施管理系統(tǒng)以流程化主動糾錯的模式促使管理人員遵守標準的IT流程化管理要求，提高網絡與基礎設施的維護效率與管理水平，杜絕因操作錯誤造成系統(tǒng)宕機風險與損失。

        大數(shù)據時代的數(shù)據中心網絡核心交換矩陣將采用40G/100G，核心主干物理層網絡是智能基礎設施管理系統(tǒng)的管理重點。與傳統(tǒng)數(shù)據中心相比，如采用相同的行業(yè)模型來分析投資回報率ROI，假設對于傳統(tǒng)10G核心網絡，由于管理原因造成數(shù)據中心網絡中斷問題產生的損失是1個單位，而大數(shù)據采用40G/100G網絡在相同宕機時間的損失可能是4-10個單位。顯然，在大數(shù)據時代對于智能基礎設施應用的投資回報率更高，從而促使智能基礎設施管理系統(tǒng)應用價值得到了提升，促進智能基礎設施更廣泛地應用在數(shù)據中心內。

        五、結束語

        大數(shù)據的時代是數(shù)據應用需求的急速增長作為驅動的源泉，云計算是基于虛擬化技術發(fā)展而來，不僅僅為大數(shù)據計算處理提供技術保障，同時云計算本身也是一種服務模式，從某一方面來說云計算的大量落地也是促進了大數(shù)據發(fā)展的原因之一，兩者相輔相成。對于網絡的基礎架構來說，在大數(shù)據與云計算相互促進的背景下，網絡基礎為了不成為整體應用發(fā)展的瓶頸，需要整體網絡技術不斷的升級，包括外圍的干線網絡、LTE第四代移動網絡以及FTTH光纖到戶等。而數(shù)據中心的物理層網絡是支持云計算大數(shù)據的核心，也是最迫切需要得到提升的關鍵基礎設施，數(shù)據中心網絡物理層行業(yè)標準化發(fā)展相比較實際應用需求保持一定的領先性，10G/40G/100G等網絡基礎與接口技術逐步走向成熟為大數(shù)據鋪平了道路。大數(shù)據時代數(shù)據中心網絡基礎的復雜性，又使得智能基礎設施管理系統(tǒng)的應用價值得到了良好的體現(xiàn)。數(shù)據中心網絡基礎技術已經作好準備以迎接大數(shù)據時代的到來。