摘要

    已經大規模普遍使用的互聯網增加云服務（例如：蘋果iCloud）以后，數據中心的純計算與存儲要求正經歷史無前例的增長。這種增長直接影響到了能耗。隨著它的不斷增長，工程師們也正在尋找控制功耗的解決方案。由于聯網系統所使用的連接器傳輸速度超出了每秒10Gb(Gbps)，因此，本文中我們將專門研究連接器功率預算，以及降低這些高速通道功耗的解決方案。

引言

    今天，毫無疑問互聯網數據傳輸正迅速增長。思科公司的最新（2011年6月）視覺網絡指數(VNI) 預測報告清楚地顯示了這一趨勢，其預測興趣點為移動空間的增長情況（請參見圖1）。“云”計算與存儲引入以后，在這種新穎模式的推動下，帶寬消耗越來越大。移動用戶從簡單的文本數據傳輸轉向高清照片和視頻傳輸，用戶迫切需要將這些內容復制到云存儲，將視頻轉碼發布，并將多媒體數據復制到各種各樣的設備中（更不必說在社交網絡上發布）。這種性能壓力最終要求提高處理和通信能力。

圖1 2010-2015 年互聯網帶寬趨勢

    但是，這些增長是有代價的——不僅僅是費用，還包括功耗方面。新一代服務器和網絡的設計人員已經在同功耗做斗爭——在購置成本(CoO) 和實用熱設計兩方面。怎樣構建系統才能既提高性能又降低功率呢？在信息爆炸式增長的時代，這是一場永無止境的戰斗。

首先研究什么

    同所有系統設計一樣，新一代服務器和網絡首先應提高性能。在云計算架構中，服務通常會隨加載變化而變化。已不再是一臺“服務器”，而是一種離散式硬件設備。在大多數情況下，提供服務的實際硬件可以放置在服務提供商基礎設施內部的任何地方，其位置具有“不確定性”，隨時變化。這種性能提升被稱為軟件框架內的服務“虛擬化”或者封裝，其允許服務在硬件主機之間自由移動。這樣便讓服務提供商可以根據需求改變資源，從而降低基礎設施的功耗。

   由于服務得到控制，就有了大量的“機器到機器”（M2M）活動。在大多數數據中心，大多數數據傳輸都在機器之間進行，而不用連接外部世界。虛擬化的加入，推動了從1 Gbps連接（許多老舊服務器上的標準）轉向10 Gbps 連接的需求。今天，這種需求正推動轉向使用25 Gbps 連接。這些連線中的許多長度不到5米，而大多數的長度都在1 米以內。出現這種情況的原因是服務器集群的構架。單個機架會放置許多刀片式服務器，其連接至機架頂部（或者底部）的開關。機架成行放置，通過集線器整合，然后將信息發送至其他服務器行或者網絡存儲器。

    使用1Gb 連接時，小型標準線可以在信號完整性丟失相當小的情況下輕松傳輸數據。這很重要，原因是：1）由于線路阻塞氣流外流使服務器以外的氣流減少；2）決定你在機架中能夠布置多少條連線的彎曲半徑（參見圖2）。

圖2機架內部布線

    轉向使用10G 以太網以后，信號完整性問題更加突出，無源線纜開始使用更大標準線來補償。氣流/彎曲半徑問題開始顯現，安裝人員/設計人員開始想要使用光纖連接來解決這個問題。轉向使用光纖帶來了一些問題，例如：高成本和高功耗等。典型單個10G 以太網SFP+模塊的功耗為1 瓦左右。使用數以萬計的端口時，光纖連接的功耗需求量便急劇增加，并且功耗增加帶來的一些問題也隨之出現（機架溫度上升）。

線纜連接問題

    如果用于高速連接的無源線纜受到體積龐大和彎曲半徑問題的困擾，則光纖解決方案的問題便是高功耗和高成本?？雌饋?，似乎必須使用一種折中辦法來解決這個問題。答案就是一種被稱作“有源銅線”的技術—這是一個聰明的想法，其將一些有源元件嵌入到導體外殼中，以對由小標號線引起的高頻損耗進行補償。這種解決方案允許使用一些具有“光纖型”彎曲半徑和大體積且功耗較高的小標號線。如DS100BR111 等設備使用10 Gbps時每條通道的功耗一般低于65 mW，其常用于SFP+ 有源線應用。

    應用于10 Gbps 以太網時，大多數情況下這種能夠提高線纜信號完整性的技術僅限于15 米以下的連線長度。但是，如前所述，大多數連接線都在3 米以下，可輕松地使用有源銅線替換無源或者光纖線。今天，這種方法常用于10 Gbps 連接。但是，未來正快步向我們走來，即使是10 Gbps 連接也將無法滿足需求。

    在光纖連接世界里，基本上有兩種連接：1）短距離連接（小于1000 米）；2）遠距離（大于1000 米）通信。更長的光纖連接形成我們現代互聯網基礎設施的骨干網絡，常使用100 Gbps WDM 光纖技術。為了降低這種技術的成本，包括Google、博科通訊(Brocade Communications)、JDSU 等在內的各大公司，于2011 年3 月批準了一個10 x 10 Gbps 多源協議(MSA)，用于物理媒介依賴(PMD) 子層，其為C 形狀系數(CFP) 模塊提供一種通用架構。

    CFP 連接器適用于要求100 Gbps 通信的低數目/長距離連接。但是，SFP 和四通道SPF接口(QSFP) 連接器擁有更高的密度，本地開關和路由器均要求這種高密度。今天，通過組合四條10 Gbps 數據通道，四通道SFP 連接器用于40 Gbps 以太網。下一步的發展將是從10 Gbps 轉到25 Gbps 通道。它通過一些小QSFP 連接器提供相當于100 Gbps 的數據傳輸，并為一些不支持100 Gbps  標準的40 Gbps 以太網系統提供向后兼容模式。最終，這種形狀系數可用于光纖模塊，因為不再需要CFP模塊使用的10 到4 通道轉換。

   這種技術已經數家廠商多次證明，為廣大基礎設施設計人員提供了一種轉到高速連接的路線圖。但是，開關或者服務器背后的互連并非是出現這種問題的唯一地方。服務器和網絡存儲設備內部的各種電氣連接都存在相同的問題。

距離是你的敵人

    一個數字位的波形橫向傳輸線路和連接器，因此物理學開始起作用，并試圖通過阻抗錯配和相鄰通道串擾引起的頻率反射型可變衰減，完全破壞原始信號。數據本身也存在問題，因為之前發送的符號干擾了傳輸中的當前位。這被稱作符號間干擾，即ISI。信號通過ASIC 到路由器或者開關背部這段距離后，無法再辨別出這些位。抹殺無源連線無誤差位傳輸的相同效應，也在這里發揮作用。

    以前的一些設計，開關ASIC使用多條慢數據通路（一般為3.125 Gbps），連接到某個物理層設備（PHY），以在SFP連接器構建10 Gbps NRZ連接。PHY的位置非常靠近于物理連接器，因此信號完整性損失得到最小化。但是，由于ASIC 技術轉而使用更小的幾何外形，吸納10 Gbps 接口的高速連接便成為一種內在要求。首先，由于移除了PHY，因此這種變化可以降低電氣連接的總功耗。但是，PCB 邊緣的信號完整性損失，要求更昂貴、低功耗的電路板材料，或者再使用一種有源解決方案。

    用于抗線纜信號損失的相同設備現在也正用于高性能路由器、開關和服務器內部連接。使用低功耗緩沖中斷器和重定時器時，可使用標準FR-4 PCB 材料（控制成本），并且功耗非常低。實際上，這些設備以一種類似的方式用于10 Gbps NRZ以太網PHY，以恢復數據和再計時數據，滿足連接器規范。

達標努力

    在服務器中，包括PCI express (PCIe) 在內的標準比比皆是。由于數據傳輸速率更高，內核處理器向（自）內核傳輸信息的能力，推動PCIe 等標準不斷提高傳輸速度。最新的標準為第3 代，其標稱擁有8 Gbps 的連接速度。如前所述，在許多情況下，設備內部物理距離不變，歸因于處理器硬件、連接器數目和間隔。服務器也不例外，同樣受到信號完整性問題和功耗的困擾。前面使用第1 代或者第2 代PCIe 的一些設計，只要小心謹慎地布局和選擇連接器，便能夠滿足操作規范。但是，隨著服務器轉向第3 代，電路板材料和連接器正對信號完整性產生影響，以致于不再能夠滿足這種標準。

如PCIe 等標準帶來另一個問題，讓問題的解決更加困難，而同時還要保持低功耗。這個問題便是帶外(OoB) 信號傳輸，其出現在通道早期訓練過程。由于在通道接入時標準PCIe 板并不了解，因此它必須與根組件溝通，并對通道做出調節，以幫助維持信號完整性。這種通信在帶外完成，并且如果失?。ㄒ蚬适艿阶枞ǖ辣銦o法初始化。

    一些PCIe 集成電路(IC) 中斷器的廠商使用一種重復根組件的方法。這種方法將通道分成兩部分，有效地縮短了距離，并大大提高了信號完整性（連接器更少/距離更短）。這種方法存在的問題是功耗。重復根組件，要求理解通道傳輸，并在兩端正確地對其重復。另外，串行化和去串行化過程，還會引起過多的延遲。

    其他廠商通過使用一種模擬方法對帶內和帶外信號進行調節（去除了所有信息處理），暫時解決了這個問題。如DS80PCI402 等器件使用這種方法，每條通道僅要求65 mW。該器件插入到PCIe 通道中以后，有效縮短了末節點和根組件之間的通道距離，其不干擾帶外過程，大大改善了8 Gbps 數據信號完整性，同時能耗更小。

其他改善方面

    我們的信息基礎設施正不斷增長，以滿足日益增加的用戶數和技術（例如：云計算等）需求。連接功耗預算只是這些系統總功耗的一部分而已。各大廠商都在尋找一種方法，以產生更低連接功耗的內核。由于ARM內核的易用性和極低的功耗，人們對于在云服務器中使用這種引擎的關注度正不斷上升。另外，一些專用處理器也使用其各自的方法進入到信息基礎設施中提供各種服務，例如：視頻和圖像實時轉碼、語音識別等等。這些專用服務通常要求在通用處理器中執行浮點運算功能。這些專用處理器提供許多高能效的方法，執行相同運算功能。

結論

    隨著云計算和存儲在規模和容量方面都不斷增長，節點之間的連接能力也不斷提高。設計人員面臨的挑戰會是在不斷增加網絡數據吞吐量的同時，維持最低的功率。這些解決方案不僅受到來自日益增長的高帶寬要求的挑戰，而且也會達到功耗最小化的上限。

參考文獻

    如欲了解信號調節的更多詳情，敬請訪問：www.ti.com/sigcon-ca。

作者簡介

    Richard Zarr是TI 技術專家，致力于高速信號和數據通路技術。他擁有超過30 年的實際工程經驗，并在全世界發表了大量論文和文章。Richard是IEEE 會員，他畢業于美國南弗羅里達大學(University of South Florida)，電機工程學士學位，并擁有數項LED 照明和加密專利。