PCIe3.0光纜設(shè)計(jì)：光通訊模塊搭配控制器

　　光通訊模塊、控制器搭配得宜 PCIe 3.0光纖纜線設(shè)計(jì)達(dá)陣

　　文/Christopher Wong

　　對(duì)PCIe Express 3.0(PCIe Gen3)機(jī)箱間的連接應(yīng)用來說，光纖技術(shù)可提供優(yōu)于同軸電纜的更佳替代選擇。

　　雖然串行解串行器(SerDes)轉(zhuǎn)換技術(shù)原本的設(shè)計(jì)是在個(gè)人計(jì)算機(jī)(PC)主板上承載PCIe Gen1/Gen2總線訊號(hào)，但也可簡(jiǎn)單應(yīng)用到同軸電纜上做為數(shù)據(jù)中心與服務(wù)器機(jī)箱間的互連接口。不過，銅纜的通道特性將會(huì)因PCIe Gen3更高信道頻率而大幅度劣化，因此長(zhǎng)距離的銅線互連技術(shù)將面臨無法滿足導(dǎo)入8Gbit/s PCIe Gen3技術(shù)產(chǎn)品對(duì)成本、效能、尺寸與重量的要求。

　　光纖技術(shù)為高信道數(shù)PCIe Gen3接口提供非常具有吸引力的替代方案，例如大幅延長(zhǎng)的聯(lián)機(jī)距離、更小的尺寸、更輕的重量、更低的功耗、更高的效能，以及更具競(jìng)爭(zhēng)力的成本。雖然采用光纖的PCIe Gen3互連標(biāo)準(zhǔn)尚在初期制訂階段，但市面上已有做為過渡方案的產(chǎn)品。

　　本文將介紹PCIe Gen3電氣標(biāo)準(zhǔn)，以及將目前商用光纖技術(shù)應(yīng)用到低成本PCIe Gen3的挑戰(zhàn)，并將使用由PLX和安華高(Avago)共同開發(fā)的解決方案探討PCIe Gen3光學(xué)聯(lián)機(jī)的效能、成本、模塊外型、尺寸，以及制造上面臨的問題，并提出PCIe Gen3端對(duì)端光纖聯(lián)機(jī)的設(shè)計(jì)架構(gòu)，描述光纖解決方案如何用來支持商業(yè)PCIe應(yīng)用的全64Gbit/s(雙向128Gbit/s)通訊容量。

　　PCIe Gen3傳輸速率翻倍成長(zhǎng)

　　PCIe總線是提供中央處理器(CPU)與相關(guān)周邊，如繪圖顯示適配器、內(nèi)存、磁盤驅(qū)動(dòng)器和外部輸入輸入(I/O)適配卡等連接的高速串行技術(shù)，最初由英特爾(Intel)開發(fā)，目前已逐漸成為大部分桌面計(jì)算機(jī)、工作站及高階服務(wù)器的互連標(biāo)準(zhǔn)，同時(shí)也逐漸在一些較大型系統(tǒng)中成為被動(dòng)式背板互連的技術(shù)。

　　在物理層(PHY Layer)上，PCIe以兩個(gè)端點(diǎn)設(shè)備間單一或多個(gè)點(diǎn)連接實(shí)現(xiàn)，稱為通道(Lane)，每個(gè)通道都由兩個(gè)低電壓交流耦合差動(dòng)訊號(hào)對(duì)組成，形成兩個(gè)聯(lián)機(jī)端點(diǎn)設(shè)備間的高速全雙工比特流(Bitstream)。比特流中使用8b/10b編碼方法嵌入數(shù)據(jù)頻率達(dá)到超高數(shù)據(jù)傳輸率。為滿足更高的容量，PCIe信道可經(jīng)過組合形成二、四、八及三十二信道的多信道聯(lián)機(jī)，并透過信道傳送封包數(shù)據(jù)。

　　當(dāng)PCIe Gen1標(biāo)準(zhǔn)于2003年推出時(shí)，每個(gè)通道的連接速度定義為2.5Gbit/s，所采用的8b/10b線路編碼法會(huì)降低有效容量20%;PCIe Gen2則將速度加倍為5Gbit/s， 帶來三十二通道的PCIe連接器支持，達(dá)到高達(dá)160Gbit/s的總比特率。圖1所示為PCIe Gen1與Gen2物理層功能分工。

　　

圖1 PCIe Gen1與Gen2物理層功能分工(左)與方塊圖(右) 圖片來源：英特爾

　　2010年底定的PCIe Gen3規(guī)格則再一次將信道容量加倍，并以稱為“打散(Scrambling)”的技術(shù)取代Gen1與Gen2使用的8b/10b線路編碼方式，可降低信道負(fù)擔(dān)約1.5%。

　　光纖延伸PCIe接口聯(lián)機(jī)距離

　　由于PCIe技術(shù)的高頻訊號(hào)須額外利用阻抗受控信道，減低訊號(hào)噪聲，且聯(lián)機(jī)距離相對(duì)較短，因此比較適用于CPU與周邊位置接近的連接。

　　先不論技術(shù)上的挑戰(zhàn)，業(yè)界已對(duì)使用電子與光纖纜線延伸PCIe聯(lián)機(jī)到機(jī)箱間應(yīng)用具高度的興趣。服務(wù)器、交換機(jī)及儲(chǔ)存設(shè)備間透過PCIe連接時(shí)，并不需中介傳輸通訊協(xié)議或是相關(guān)的電子零組件，除可降低系統(tǒng)延遲并提高傳輸效率外，使用PCIe還具降低整體系統(tǒng)復(fù)雜度、成本及耗電的優(yōu)點(diǎn)。

　　為支持這些應(yīng)用，業(yè)界也制定外部PCIe(External PCI Express, ePCIe)規(guī)格，可將PCIe Gen1的2.5Gbit/s訊號(hào)傳輸延伸到數(shù)公尺長(zhǎng)的同軸電纜，目前已被應(yīng)用于包括儲(chǔ)存系統(tǒng)、高效能運(yùn)算計(jì)算機(jī)，以及其他需要高容量、多機(jī)箱系統(tǒng)互連的產(chǎn)品，例如高階影音系統(tǒng)等。

　　雖然更快的訊號(hào)會(huì)因更長(zhǎng)的纜線導(dǎo)致衰減、對(duì)參考頻率抖動(dòng)更為敏感，以及其他訊號(hào)完整性問題限制，無法實(shí)現(xiàn)較長(zhǎng)的纜線距離，業(yè)界目前已針對(duì)ePCIe Gen2的纜線規(guī)格進(jìn)行解決方案的開發(fā)，而這些問題在PCIe Gen3 8Gbit/s傳輸速率時(shí)，將更加復(fù)雜，且需更昂貴的等化與時(shí)序解決方案。事實(shí)上，光纖是PCIe Gen3芯片與纜線業(yè)者研發(fā)產(chǎn)品時(shí)，要使產(chǎn)品兼具較長(zhǎng)聯(lián)機(jī)距離與更高容量彈性設(shè)計(jì)較佳考慮，促使光纖成為延伸現(xiàn)有PCIe總線到多機(jī)箱互連的銅纜替代方案。

　　值得注意的是，當(dāng)PCIe Gen3開始量產(chǎn)時(shí)，光纖纜線將比銅纜解決方案耗電更少且成本更低，這些特性使采用光纖的PCIe成為目前應(yīng)用于數(shù)據(jù)中心連接服務(wù)器、交換機(jī)及其他儲(chǔ)存設(shè)備其他傳輸接口的良好替代方案。在整個(gè)輸出輸入連接使用PCIe還可減少甚至免除通訊協(xié)議轉(zhuǎn)換芯片的需求，從而降低整體系統(tǒng)成本、功耗及避免通道延遲的問題。

　　光纖版PCIe Gen3過渡方案現(xiàn)身

　　雖然PCIe-SIG發(fā)表使用光纖的PCIe Gen3標(biāo)準(zhǔn)還需幾年時(shí)間，但目前已有商用產(chǎn)品做為過渡方案，使用市面上可取得的PCIe Gen3組件及平行光收發(fā)器模塊，可大幅加速特定應(yīng)用光學(xué)互連產(chǎn)品的開發(fā)，滿足無法等待PCIe SIG提出Gen2/Gen3光纖規(guī)格的市場(chǎng)。

　　由于PCIe的媒體訪問控制(MAC)與PHY層的接口非常簡(jiǎn)單并擁有良好的文件說明，因此可非常容易使用市面上現(xiàn)有的PCIe Gen3交換器，或其他端點(diǎn)組件推動(dòng)平行光收發(fā)器模塊，而非PCIe Gen3規(guī)格中定義的多信道電氣SerDes驅(qū)動(dòng)器。對(duì)PCIe Gen3最適合的高效能應(yīng)用，較保險(xiǎn)的做法是假設(shè)它們需要至少八個(gè)平行信道容量。

　　多通道端點(diǎn)可使用目前市面上多個(gè)供貨商的產(chǎn)品實(shí)現(xiàn)，包括平行光發(fā)射/接收模塊中的垂直腔表面發(fā)射雷射(Vertical Cavity Surface Emitting Laser, VCSEL)數(shù)組。采用VCSEL技術(shù)的平行光學(xué)模塊可支持多達(dá)十二個(gè)平行信道，每信道以8Gbit/s或更高速度運(yùn)作，并提供150公尺的纜線。

　　為評(píng)估使用商用產(chǎn)品的可行性，本文建立一個(gè)概念驗(yàn)證展示系統(tǒng)(圖2)，由內(nèi)含四十八通道PCIe Gen3交換器適配卡的主控計(jì)算機(jī)組成，交換器推動(dòng)十二信道10Gbit/s MiniPOD光學(xué)模塊，并使用八個(gè)光學(xué)信道，另四個(gè)則未使用。

　　

圖2　概念驗(yàn)證光學(xué)PCIe聯(lián)機(jī)展示系統(tǒng)方塊圖

　　光學(xué)PCIe聯(lián)機(jī)設(shè)計(jì)挑戰(zhàn)多

　　本文架構(gòu)概念驗(yàn)證系統(tǒng)的一個(gè)主要理由是，提供使用商用零組件做為光學(xué)PCIe聯(lián)機(jī)應(yīng)用的可能性證明。此外，原型系統(tǒng)開發(fā)與測(cè)試也會(huì)找出幾個(gè)必須解決的問題，特別是在光學(xué)領(lǐng)域的PCIe通訊協(xié)議支持上，這些問題包括：

　　· 接收器偵測(cè)

　　平行光收發(fā)器模塊并未提供由PCIe發(fā)射器用來偵測(cè)聯(lián)機(jī)存在的50奧姆(Ω)阻抗電氣界面。當(dāng)適當(dāng)?shù)呢?fù)載存在時(shí)，發(fā)射器會(huì)觸發(fā)，并以在組件接收端所偵測(cè)到的模式運(yùn)作，特別的是，它會(huì)做為開始傳送一系列線路探查訊號(hào)的隊(duì)列，以便讓接收器計(jì)算并做為等化電路設(shè)定的參考，在使用標(biāo)準(zhǔn)PCIe MAC組件支持光學(xué)聯(lián)機(jī)的應(yīng)用中，發(fā)射器線路探查與等化功能必須被關(guān)閉。

　　·電氣待機(jī)模式

　　PCIe電氣接口包含在無數(shù)據(jù)傳輸時(shí)將聯(lián)機(jī)變成節(jié)能待機(jī)(Electrical IDLE, EIDLE)模式的功能，不過采用光纖聯(lián)機(jī)時(shí)這個(gè)模式可能會(huì)造成問題，原因是收發(fā)器較長(zhǎng)的暖機(jī)時(shí)間可能會(huì)產(chǎn)生線路跳動(dòng)或不適當(dāng)?shù)钠珘海瑤礤e(cuò)誤的EIDLE偵測(cè)或跳離EIDLE狀態(tài)。

　　·頻率

　　由于大部分光學(xué)PCIe聯(lián)機(jī)并不會(huì)在相同機(jī)架間有兩端點(diǎn)的連接，因此本文須假設(shè)它們不會(huì)使用相同的重置或系統(tǒng)頻率訊號(hào)，在這些應(yīng)用及本篇文章提供的范例中，并無法在聯(lián)機(jī)上實(shí)現(xiàn)同步重置或頻率，因此端點(diǎn)必須能夠支持異步頻率運(yùn)作。

　　· 遠(yuǎn)程重置

　　在大部分應(yīng)用中，PCIe聯(lián)機(jī)的遠(yuǎn)程光學(xué)適配卡會(huì)在主系統(tǒng)前供電，因此遠(yuǎn)程電路卡在設(shè)計(jì)上須能在電源啟動(dòng)時(shí)進(jìn)行自動(dòng)重置程序，以便在主控端啟動(dòng)時(shí)能完全初始化并開始進(jìn)行聯(lián)機(jī)。另一個(gè)做法是若操作系統(tǒng)能完全由用戶控制，那么系統(tǒng)就能以任何順序啟動(dòng)，雖然這種方式并不常見，但對(duì)客制化應(yīng)用軟件在系統(tǒng)中定時(shí)檢查聯(lián)機(jī)狀態(tài)非常需要，在這樣的組態(tài)下，在兩方系統(tǒng)確認(rèn)完成傳輸準(zhǔn)備后，操作系統(tǒng)便可啟動(dòng)標(biāo)準(zhǔn)的系統(tǒng)列舉與程序動(dòng)作。

　　·外部訊號(hào)

　　目前針對(duì)同軸電纜定義的PCIe外部纜線規(guī)格，存在光學(xué)解決方案無法承載的額外訊號(hào)，例如100MHz的纜線參考頻率(RefClk)并不需要，原因是頻率可由PCIe收發(fā)器的資料串流中取得。此外包括SB_RTN單端邊頻帶訊號(hào)的回返電氣訊號(hào)接腳、CPRSNT#安裝的纜線/下傳子系統(tǒng)上電、CPWRON上傳子系統(tǒng)電源穩(wěn)定通知、CWAKE#喚醒事件的電源管理訊號(hào)，以及CPERST纜線PERST#纜線平臺(tái)重置等接腳，在使用光纖纜線時(shí)也無法使用。

　　選擇支持八信道組態(tài)組件

　　許多標(biāo)準(zhǔn)完成前的開發(fā)動(dòng)作須實(shí)現(xiàn)商用產(chǎn)品尚未提供的功能，通常以使用現(xiàn)場(chǎng)可編程門陣列(FPGA)及離散組件達(dá)成。不過在PCIe Gen3的例子上，市場(chǎng)上已有實(shí)現(xiàn)概念驗(yàn)證系統(tǒng)所需功能的產(chǎn)品，雖然它們并沒有針對(duì)這類特殊應(yīng)用優(yōu)化。

　　選擇最適合的光學(xué)模塊予本文測(cè)試應(yīng)用范例，將包含幾個(gè)考慮，包括信道數(shù)量、外型規(guī)格及兼容性等。雖然PCIe規(guī)格允許二、四、八、十二及十六個(gè)信道，但光學(xué)模塊通常以八或十二個(gè)通道組態(tài)提供，本文選擇八通道組態(tài)的原因是其經(jīng)常使用于高效能PCIe 2.0的設(shè)計(jì)中，預(yù)計(jì)也會(huì)在PCIe Gen3標(biāo)準(zhǔn)受到歡迎。此外，標(biāo)準(zhǔn)化八信道PCIe端點(diǎn)產(chǎn)品也給設(shè)計(jì)團(tuán)隊(duì)帶來豐富的組件選擇，其中，由于CXP與MiniPOD模塊容易取得并擁有良好的效能特性，因此成為兩個(gè)最具吸引力的選擇。

　　MiniPOD模塊機(jī)械設(shè)計(jì)較佳

　　本文選擇MiniPOD的原因是其嵌入式平行光學(xué)組態(tài)可直接安裝到印刷電路板上，帶來更好的電氣與機(jī)械設(shè)計(jì)。MiniPOD光學(xué)模塊的占用面積為18.6毫米(mm)×22毫米，并且可接受十二通道的扁平纜線或圓形纜線。扁平纜線的優(yōu)點(diǎn)包括厚度低及模塊可緊密堆棧;圓型纜線則提供更好的穩(wěn)固度及更高彈性的彎折，圖3為透過扁平纜線耦合并使用業(yè)界標(biāo)準(zhǔn)MTP連接器MiniPOD光學(xué)模塊。

　　

圖3 十二信道嵌入式平行光纖收發(fā)模塊MiniPOD

　　和CXP模塊使用的電路板邊緣安裝不同，MiniPOD光學(xué)模塊可簡(jiǎn)單安排在電路板中央，并提供高速驅(qū)動(dòng)器連接，將承載8Gbit/s電氣訊號(hào)的電路板走線長(zhǎng)度減到5吋，進(jìn)而可將因電容表面效應(yīng)造成的耗損與失真控制在最低。邊緣安裝解決方案的光學(xué)或電氣PCIe纜線可能達(dá)到12～20吋，或更長(zhǎng)的走線長(zhǎng)度，且還需特殊的電路板材料、發(fā)射器去強(qiáng)調(diào)、接受器等化及頻率數(shù)據(jù)回復(fù)(CDR)等技術(shù)解決訊號(hào)完整性問題。

　　本文范例選擇四十八信道PCIe Gen3交換器做為兩個(gè)端點(diǎn)的PCIe控制器，原因是該組件整合用來支持光學(xué)領(lǐng)域運(yùn)作的功能，此交換器可解決的問題，第一為交換器擁有關(guān)閉接收器偵測(cè)的功能，免除光學(xué)纜線提供50Ω阻抗的需求，在此模式，交換器透過對(duì)輸入數(shù)據(jù)串流譯碼進(jìn)行速度協(xié)商。

　　PCIe控制器第二個(gè)解決的問題是EIDLE，原因是該組件能被設(shè)定為忽略可能引發(fā)電氣待機(jī)狀態(tài)的數(shù)據(jù)串流變化，在此模式下，PCIe控制器持續(xù)追蹤提供對(duì)連接速度協(xié)商要求的特定數(shù)據(jù)符號(hào)，因此光學(xué)聯(lián)機(jī)能進(jìn)行列舉及聯(lián)機(jī)情況、信道和速度信息的通訊，達(dá)到完全運(yùn)作帶寬。

　　不過由于此交換器經(jīng)過修改的EIDLE功能無法允許進(jìn)入或跳出動(dòng)態(tài)電源管理(Active State Power Management, ASPM)狀態(tài)，因此還是存在一個(gè)小問題，但可透過實(shí)體上解除并重新啟動(dòng)動(dòng)作連接來初始化聯(lián)機(jī)的維持能力加以解決，然而緩存器管理，如資源重新配置、BAR編程、端點(diǎn)的可能注冊(cè)重新編程及訊息遮蔽等就需另外的處理程序。

　　第三個(gè)可由PCIe控制器解決的問題是，交換器支持?jǐn)?shù)據(jù)回復(fù)用的異步頻率模式，允許PCIe光學(xué)聯(lián)機(jī)的兩端能夠獨(dú)立運(yùn)作。不過這個(gè)異步模式將不支持用來降低印刷電路板上承載PCIe訊號(hào)走線輻射電磁干擾的系統(tǒng)展頻頻率(Spread Spectrum Clocking, SSC)。

　　利用收發(fā)器/光纖控制器實(shí)作光纖版PCIe

　　本文提出的概念驗(yàn)證展示的電路板(圖4)包含內(nèi)建四十八通道PCIe Gen3交換器適配卡的主控計(jì)算機(jī)，以及一個(gè)搭配交換器的光發(fā)射器與接收器模塊子板，在光學(xué)聯(lián)機(jī)的另一端，另一個(gè)包含光收發(fā)器與接收器模塊的交換器接口卡位于電路板上，藉以提供快速周邊，如固態(tài)硬盤驅(qū)動(dòng)及以太網(wǎng)絡(luò)(Ethernet)HBA卡的輸出與數(shù)據(jù)整合。

　　

圖4 搭配MiniPOD模塊的適配卡

　　實(shí)體聯(lián)機(jī)的每一端都使用PCIe Gen3交換器芯片進(jìn)行終端，包含頻率/數(shù)據(jù)回復(fù)以及每個(gè)高速端口的發(fā)射/接收等化。由于交換器芯片的收發(fā)器選用異步模式運(yùn)作，因此在光學(xué)模塊中并不須進(jìn)行頻率與數(shù)據(jù)回復(fù)，可進(jìn)一步保留PCIe的低延遲優(yōu)勢(shì)。MiniPOD光學(xué)模塊在電路板中央位置的設(shè)計(jì)，電路板走線較短，也可讓交換器芯片的Tx與Rx訊號(hào)直接與光學(xué)模塊介接，因此只須在兩者間加入交流耦合。

　　實(shí)現(xiàn)30公尺光纖PCIe Gen3纜線

　　上述的實(shí)作電路板成功實(shí)現(xiàn)在OM3的低成本多模光纖上，實(shí)現(xiàn)超過30公尺的PCIe Gen3八通道纜線。這個(gè)光纖纜線支持異步運(yùn)作(無原生SSC，但提供SSC隔離)、僅L0動(dòng)作狀態(tài)(受控操作系統(tǒng)的聯(lián)機(jī)啟動(dòng)與結(jié)束控制)、PCIe普通連接速度協(xié)商與PCIe標(biāo)準(zhǔn)聯(lián)機(jī)寬度安排功能。

　　但礙于先前所討論的技術(shù)問題，此一光纖纜線目前并無法具備PCIe動(dòng)態(tài)電源管理、帶內(nèi)同步重置(僅支持帶外獨(dú)立重置)功能。由圖5眼圖可說明接收器驅(qū)動(dòng)30公尺纜線時(shí)，擁有良好的訊號(hào)完整性及無錯(cuò)誤的數(shù)據(jù)回復(fù)。

　　

圖5 PCIe Gen3交換器在30公尺光纖數(shù)據(jù)傳輸眼圖

　　在本文實(shí)作范例中，MiniPOD光學(xué)模塊可支持PCIe Gen3以每信道8.0Gbit/s的速度運(yùn)作，但實(shí)際上可支持1G?10.3125 Gbit/s的寬廣傳輸速率，因此這些光學(xué)組件可在5.0Gbit/s的PCIe Gen2及2.5Gbit/s的PCIe Gen1運(yùn)作，不須更改組態(tài)也不會(huì)犧牲效能。此一傳輸速率范圍不僅可讓工程師加速實(shí)現(xiàn)PCIe Gen3光纖纜線連接，也可做為未來特定應(yīng)用產(chǎn)品多重速率光學(xué)聯(lián)機(jī)向后兼容的基礎(chǔ)。

　　(本文作者任職于安華高)