騰訊科技程傳勝：近年來自研交換機(jī)的實(shí)踐和探索

  ICC訊 開放數(shù)據(jù)中心峰會(ODCC2020)在北京召開，峰會圍繞數(shù)據(jù)中心新基建為主題，有數(shù)據(jù)中心領(lǐng)域及相關(guān)行業(yè)的眾多專家與會。在9月16日網(wǎng)絡(luò)分論壇上，騰訊科技程傳勝先生就百度近年來自研交換機(jī)的實(shí)踐和探索進(jìn)行了分享。

  騰訊科技程傳勝

  程傳勝：剛才阿里、百度兩位同學(xué)都從OS和運(yùn)維層面介紹了自研交換機(jī)，接下來就由我和大家分享騰訊科技自研交換機(jī)的硬件實(shí)踐。隨著集群規(guī)模越來越大，網(wǎng)絡(luò)也越來越大，傳統(tǒng)SONIC交換機(jī)也越來越大，加上我們的自研交換機(jī)比較慢，所以基于單芯片的自研交換機(jī)應(yīng)運(yùn)而生。單芯片的自研交換機(jī)是我們自主的硬件設(shè)計(jì)，這樣就會做到交換機(jī)內(nèi)部的硬件可控，單硬件的故障率也比較低，因此硬件的規(guī)格和模式方面也做了一些創(chuàng)新，OS軟件就是我們自主研發(fā)、擁有自主IP的交換機(jī)形式。

  看一看騰訊自研交換機(jī)的歷程，2018年之前騰訊對自研交換機(jī)無論是軟件、硬件還是模式都做了不少探索和摸索，2018年公司層面開始厚積薄發(fā)，開展自研交換機(jī)的項(xiàng)目，主要包括兩款產(chǎn)品：2.0TTD3平臺，基于TH3平臺的Leaf/Spine研發(fā)，2019年下半年規(guī)模上線，年底基于業(yè)務(wù)的發(fā)展需要集中研發(fā)3.2TTD3平臺TOR，今年下半年我們就可以規(guī)模上線，2020年上半年Q1又啟動(dòng)了自研交換機(jī)3.0，包括基于TH4平臺的Leaf/Spine和TOR。

  這些是騰訊自研交換機(jī)的產(chǎn)品庫，BMC監(jiān)控運(yùn)維方面也有一個(gè)比較好用的模塊，當(dāng)時(shí)引入的時(shí)候整個(gè)BMC大概300元人民幣，軟件監(jiān)控和運(yùn)維也有比較大的便利性，所以這是花小錢辦大事的功能，就是像管理服務(wù)器一樣管理交換機(jī)，交換機(jī)也可以借用服務(wù)器的運(yùn)維平臺，對外接口也是適用QR8接口，芯片使用Tomahawk3，也是采用TD3的芯片，可以監(jiān)控20G、25G和10G，應(yīng)用50G和100G的接入場景，CPU也是127，作為智能BMC的設(shè)計(jì)，目前已經(jīng)量產(chǎn)上線，預(yù)計(jì)明年Q1就會上線。

  我們選擇交換機(jī)接口形態(tài)的時(shí)候也做了調(diào)研，隨著芯片的發(fā)展和接口的多樣化，可選的端口比較多，包括ESP、SMP，最終還是因?yàn)樯鷳B(tài)的原因選擇200G，100G接入的時(shí)候是一分二的線纜，實(shí)現(xiàn)200G和100G的接入，要是往上接的話其實(shí)400G可以直接達(dá)到200G，我們使用芯片就是基于8.0T帶寬，CPU平臺同樣也是采用Intel1527平臺，因?yàn)閺那懊娴倪\(yùn)維和使用的角度來看，我們也對光模塊做了監(jiān)控系統(tǒng)，所以需要花費(fèi)30多秒的時(shí)間。FPGA用來管理所有的光模塊，也有比較強(qiáng)大的IO接口，所有的光模塊都可以一起訪問，共同點(diǎn)就是都在使用X86平臺，硬件適配和軟件開發(fā)周期會有比較大的縮減，運(yùn)維或者制造的時(shí)候成本會低一點(diǎn)。

  因?yàn)橹拔覀兊膱F(tuán)隊(duì)剛剛組建，依賴的廠家比較多，94和84開始我們會采用新的研發(fā)模式，就是只能選擇一家ODM廠商幫助我們設(shè)計(jì)，另外一家就是按照合同生產(chǎn)的方式，這樣的話我們就可以做到兩個(gè)廠家交互的硬件100%一致，可以帶來很多好處，研發(fā)的時(shí)候不會發(fā)生很多問題。因?yàn)槿医桓兜挠布母怕噬蟻碇v，研發(fā)的時(shí)候發(fā)生的問題是好幾倍，硬件完全統(tǒng)一的話研發(fā)的時(shí)候就會節(jié)約很多時(shí)間。我們今天所有的產(chǎn)品都拿過來在外面展覽，大家如果有興趣可以去看一看。

  今年我們的部署計(jì)劃是ECN交換機(jī)占到全部交換機(jī)的25%，明年我們的交換機(jī)會占100%，就是全部的自研交換機(jī)?；诂F(xiàn)在已經(jīng)部署的自研交換機(jī)的故障率，滾動(dòng)年硬件故障率小于千分之二，目前來看還可以優(yōu)于現(xiàn)網(wǎng)的交互數(shù)據(jù)，時(shí)間成本也有不同程度的節(jié)約。我們做到了DCN硬件的融合，因?yàn)榻粨Q機(jī)和光模塊線纜都在DCN上面應(yīng)用，數(shù)據(jù)的監(jiān)控只有五個(gè)參數(shù)，電壓、電流、光伏率和溫度等等，能夠診斷出來的故障數(shù)量或者速度也比較慢，然后就對后面的光模塊在不增加成本的情況下做了如下的增強(qiáng)功能和監(jiān)控功能的定制，但是這些定制也有賴于我們交換機(jī)的硬件設(shè)計(jì)，比如剛才說的IOTC的設(shè)計(jì)，雖然光模塊監(jiān)控的參數(shù)變多了，頁數(shù)也變多了，但讀取的時(shí)間沒有增加反而減少，其實(shí)這就是光電結(jié)合的例子，后面也要做到更低成本的光電融合。