|
面向HPC的服務(wù)器整機(jī)柜液冷解決方案
今天給大家分享一些液冷的知識(shí)，和一個(gè)面向英特爾高性能計(jì)算平臺(tái)的整機(jī)柜液冷解決方案，我們剛剛與合作伙伴完成聯(lián)合驗(yàn)證測(cè)試并整理成交鑰匙解決方案，分享有需要液冷整機(jī)柜需求的小伙伴。
在數(shù)字化創(chuàng)新浪潮下，為了支撐快速發(fā)展的計(jì)算密集型應(yīng)用，數(shù)據(jù)中心基礎(chǔ)設(shè)施逐漸向大規(guī)模、高密度的發(fā)展方向發(fā)展，冷卻成為數(shù)據(jù)中心不得不重視的問題。在此背景下，液冷技術(shù)憑借更高的冷卻效率、更低的運(yùn)行成本、更小的占地面積、更高的可靠性以及更低的噪聲，成為重要的發(fā)展趨勢(shì)。
能效指標(biāo)PUE是什么意思？
PUE = Power Usage Effectiveness，用來(lái)評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo)，數(shù)據(jù)中心總能耗 / IT負(fù)載消耗的能源的比值。
PUE = 數(shù)據(jù)中心總能耗/IT設(shè)備能耗，其中數(shù)據(jù)中心總能耗包括IT設(shè)備能耗和制冷、配電等系統(tǒng)的能耗，一般來(lái)說(shuō)值大于1，越接近1表明非IT設(shè)備耗能越少，即能效水平越好。
為什么需要液冷？
大數(shù)據(jù)和云計(jì)算的時(shí)代，計(jì)算密度越來(lái)越大，拿數(shù)據(jù)中心舉例，隨著算力越來(lái)越強(qiáng)，數(shù)據(jù)中心的能效指標(biāo)也越來(lái)越重要。更高的功率密度，計(jì)算密度的提高帶來(lái)更高的熱密度，散熱成為計(jì)算機(jī)發(fā)展的瓶頸之一。更節(jié)能的冷卻技術(shù)，計(jì)算技術(shù)的發(fā)展從性能轉(zhuǎn)向了效率，關(guān)注與能耗和排放，綠色數(shù)據(jù)中心成為發(fā)展趨勢(shì)。
液冷的類型：
液冷主要有兩種類型，按照冷卻液體與設(shè)備之間的接觸方式來(lái)看，一種叫做直接接觸型液冷，一種叫做間接接觸型液冷。間接接觸型液冷的一個(gè)典型應(yīng)用是冷板式液冷。將需要散熱的設(shè)備固定在一塊冷板上，而液體在通過冷板的時(shí)候?qū)⒃O(shè)備的熱量帶走，以達(dá)到散熱的目的。
以DSG的支持液冷的服務(wù)器為例，
從上圖可以看到，除了傳統(tǒng)風(fēng)冷的風(fēng)扇散熱以外，還添加了冷管。冷管主要為高TDP的CPU散熱，機(jī)箱內(nèi)部的硬盤，內(nèi)存等部件，還是靠機(jī)箱中的風(fēng)扇來(lái)散熱。
這種液冷方式對(duì)用戶既有機(jī)房或數(shù)據(jù)中心的改動(dòng)較小，噪音低，能效高和成本可控。對(duì)于那些較高熱密度的數(shù)據(jù)中心散熱比較合適。PRC前三的CSP客戶，百度，阿里和騰訊，均有冷板式液冷服務(wù)器的部署。
進(jìn)出水管如下圖所示：
直接接觸型液冷的一個(gè)典型應(yīng)用是浸沒式液冷，浸沒式液冷通常將服務(wù)器等需要散熱的IT設(shè)備完全浸沒在冷卻液中。依靠液體的循環(huán)流動(dòng)帶走熱量。一般來(lái)說(shuō)是將服務(wù)器放在特殊設(shè)計(jì)的容器中。冷卻液在將熱量帶走以后會(huì)被氣化，再通過其他裝置冷卻后循環(huán)利用。這種方式由于冷卻液和設(shè)備充分接觸，所以散熱效率更高，再加上沒有風(fēng)扇，所以比冷板式液冷的噪音更低。
浸沒式散熱優(yōu)勢(shì)明顯，能極大提升能源使用效率，較適合新建數(shù)據(jù)中心。但是也有一些限制，需要搭配能支持浸沒式液冷的配件，還有服務(wù)器的質(zhì)保和更換配置等問題。雖然制冷效果較好，但由于需要直接將冷卻液和發(fā)熱器件接觸，數(shù)據(jù)中心設(shè)備改造的動(dòng)作更大，因此浸沒式更適合新建數(shù)據(jù)中心。阿里巴巴已經(jīng)在其北京冬奧云數(shù)據(jù)中心進(jìn)行浸沒式液冷的規(guī)模化部署。
液冷需要在服務(wù)器之外投資散熱設(shè)備，改建數(shù)據(jù)中心，早用在一些HPC領(lǐng)域�，F(xiàn)在由于更高的散熱效率，對(duì)建筑物的依賴度更低，以及靜音安全的特點(diǎn)，那些對(duì)場(chǎng)地，電力要求較高的數(shù)據(jù)中心也會(huì)采用液冷技術(shù)。除了傳統(tǒng)的大規(guī)模數(shù)據(jù)中心以外，隨著邊緣計(jì)算時(shí)代的來(lái)臨，未來(lái)的邊緣計(jì)算數(shù)據(jù)中心也會(huì)有大概20%采用液冷技術(shù)。
液冷的液體到底是什么？
所謂的液冷，并不是指水，一般來(lái)說(shuō)主要是高比熱容的液體。
水：成本也低的冷卻液。但由于水并非絕緣體，所以只能應(yīng)用于間接接觸型液冷。除此以外，安全防護(hù)十分重要，一旦發(fā)生泄漏，對(duì)服務(wù)器等IT設(shè)備的損害很大。
礦物油：成本比水高一些，性價(jià)比高。單相礦物油無(wú)毒無(wú)味不易揮發(fā)。粘性較高，可能在設(shè)備表面形成殘留。另外，雖然燃點(diǎn)較高，但是在某些特定條件下有安全隱患。
氟化液：成本高。這種液體大的特點(diǎn)是絕緣，且不燃。在數(shù)據(jù)中心液冷技術(shù)中是安全的一種，也是目前應(yīng)用廣泛的。
近剛剛和合作伙伴CoolTera（一家致力于高性能計(jì)算和數(shù)據(jù)中心的先進(jìn)冷卻系統(tǒng)的技術(shù)開發(fā)、產(chǎn)品制造和應(yīng)用服務(wù)的合作伙伴）完成了整機(jī)柜液冷的聯(lián)合驗(yàn)證測(cè)試，先分享幾張圖片：
整機(jī)柜遠(yuǎn)景圖：
整機(jī)柜后視圖：
打開機(jī)柜的樣子，機(jī)柜門這么厚是因?yàn)槔锩媸巧崴埽?/p>
一共有三個(gè)版本，第一個(gè)方案是基于S9200WK 48核心處理器的1536個(gè)物理核心的1.4米機(jī)柜方案（BGA封裝），參考如下：
第二個(gè)方案是基于S9200WK 56核心處理器的1792個(gè)物理核心的1.4米機(jī)柜方案（BGA封裝），參考如下：
第三個(gè)方案是基于Xeon 處理器的四子星液冷解決方案（LGA封裝），參考如下：
控制面板長(zhǎng)這個(gè)樣子：
為了突破傳統(tǒng)風(fēng)冷的限制，液冷技術(shù)由于具有更高的效率和更低的能耗，已經(jīng)用作了眾多數(shù)據(jù)中心的液冷方案。液冷技術(shù)可以提供更高的換熱效率，冷卻液溫度的提高，帶來(lái)機(jī)房PUE降低。
|
3180038393
