數(shù)據(jù)中心液冷散熱系統(tǒng)方案

采用風(fēng)冷的數(shù)據(jù)中心通常可以解決 12kW 以內(nèi)的機柜制冷。隨著服務(wù)器單位功耗增大，原先尺寸的普通服務(wù)器機柜可容納的服務(wù)器功率往往超過 15kW，相對于現(xiàn)有的風(fēng)冷數(shù)據(jù)中心，這已經(jīng)到了空氣對流散熱能力的天花板。而液冷技術(shù)作為一種散熱能力更強的技術(shù)，可以支持更高的功率密度。

1.液冷的優(yōu)勢

• 滿足高功率密度機柜的散熱需求。液冷的高效制冷效果有效提升了服務(wù)器的使用效率和穩(wěn)定性，同時可使數(shù)據(jù)中心在單位空間布置更多的服務(wù)器，提高數(shù)據(jù)中心使用效率；
• 循環(huán)系統(tǒng)耗能少，系統(tǒng)噪音小。使用高比熱的液體工質(zhì)，冷卻工質(zhì)循環(huán)能耗少，且液冷簡化了換熱流程，也減小了風(fēng)冷末端在房間輸送冷風(fēng)過程中受湍流影響所致的部分能量衰減的問題；
• 占地小，易于選址。使用液冷系統(tǒng)的數(shù)據(jù)中心相對于傳統(tǒng)的風(fēng)冷數(shù)據(jù)中心更加簡單，去掉了龐大的末端空調(diào)系統(tǒng)，提高了建筑利用率，在小空間里也能布置足夠規(guī)模的服務(wù)器，應(yīng)用場景更易布置，受地理位置影響較小，全國布局皆可實現(xiàn)低 PUE 運行；
• 降低 TCO，運營 PUE 較低，全年 PUE 可達到 1.2 以下。采用液冷散熱方案的數(shù)據(jù)中心 PUE 比采用風(fēng)冷的常規(guī)冷凍水系統(tǒng)降低 0.15 以上，可讓有限的能源更多分配給算力，從而降低運行成本，增加算力產(chǎn)出；
• 余熱回收易實現(xiàn)。相比傳統(tǒng)水溫，使用液冷方案的水溫更高，溫差大，熱源品味和余熱系統(tǒng)效率高；
• 適應(yīng)性強。冷板式液冷兼容性強，易配套開發(fā)，不需改變原有形態(tài)和設(shè)備材料；空間利用率高，可維護性強，布置條件與普通機房相近，可直接與原制冷系統(tǒng) （常規(guī)冷凍水系統(tǒng)）兼容適應(yīng)。

2.基于冷板液冷方案的一次側(cè)系統(tǒng)

對于液冷二次側(cè)末端不同的水溫需求，液冷一次側(cè)冷源可采用機械制冷系統(tǒng)和自然冷卻系統(tǒng)。機械制冷系統(tǒng)包括風(fēng)冷冷凍水系統(tǒng)和水冷冷凍水系統(tǒng)，可提供 12℃ - 18℃ 的中溫冷凍水；自然冷卻是在室外氣象條件允許的情況下，利用室外空氣的冷量而不需機械制冷的冷卻過程，自然冷卻系統(tǒng)可采用開式冷卻塔、閉式冷卻塔和干冷器等設(shè)備實現(xiàn)，可提供 30℃ 以上的冷卻水。液冷一次側(cè)冷源形式需結(jié)合二次側(cè)末端水溫需求和項目地室外環(huán)境情況確定。

3.機械制冷系統(tǒng)

• 風(fēng)冷冷凍水系統(tǒng)

風(fēng)冷冷凍水系統(tǒng)是冷凍水制備的一種方式，主要由風(fēng)冷冷水機組、冷凍水泵及配套設(shè)施組成，其液態(tài)制冷劑在其蒸發(fā)器盤管內(nèi)直接蒸發(fā)，實現(xiàn)對盤管外的冷凍水吸熱而制冷，并通過風(fēng)冷的方式冷卻為液態(tài)。

風(fēng)冷冷凍水系統(tǒng)不需要占用專門的機房且無需安裝冷卻塔及泵房，初期成本投入較低、運行方便，不需要專業(yè)人員維護，無冷卻水系統(tǒng)，具備節(jié)水和降低維護費用等優(yōu)點。但風(fēng)冷冷水機組一般裝在室外，運維環(huán)境相對較為惡劣，維護性及可靠性均不如水冷冷水機組，并且風(fēng)冷機組在夏季高溫制冷效果較差，運行效率較低。

• 水冷冷凍水系統(tǒng)

水冷冷凍水系統(tǒng)是冷凍水制備的一種方式，主要由水冷冷水機組、冷凍水泵、冷卻水泵、冷卻塔及配套設(shè)施組成，其液態(tài)制冷劑在蒸發(fā)器盤管內(nèi)直接蒸發(fā)，實現(xiàn)對盤管外的冷凍水吸熱而制冷，并通過水冷的方式冷卻為液態(tài)。

水冷冷凍水系統(tǒng)具有耗電量較低、全年制冷效果好、可靠性高和使用壽命長的優(yōu)點。但其需要專用機房、冷卻塔、冷卻水泵、冷凍水泵等設(shè)備，初投資較大，并且需要循環(huán)水，水資源消耗大，且機組本體和冷卻設(shè)施需要維護，相較于風(fēng)冷機組，其維護費用比較高。

4.自然冷卻系統(tǒng)

• 開式冷卻塔

開式冷卻塔經(jīng)過將循環(huán)冷卻水直接噴淋到冷卻塔填料上，同時由風(fēng)機帶動冷卻塔內(nèi)氣流流動，通過室外空氣與冷卻水之間的熱質(zhì)交換蒸發(fā)冷卻循環(huán)水，冷卻后的循環(huán)水在冷卻塔底部出水 （見圖 2）。開式冷卻塔中循環(huán)冷卻水與室外空氣存在熱質(zhì)交換。

圖 2 開式冷卻塔示意圖

開式冷卻塔初投資和運行成本均較低，占地面積較小，重量較輕，但其運行水質(zhì)較差，易引起被冷卻換熱器結(jié)垢，適用于室外空氣品質(zhì)較好的區(qū)域。另外，雖然可增設(shè)一級板式換熱器和冷卻水泵來避免核心換熱器結(jié)垢，但對應(yīng)系統(tǒng)較為復(fù)雜，初投資提升。

• 閉式冷卻塔

閉式冷卻塔是將管式換熱器置于塔內(nèi)，通過室外流通的空氣、噴淋水與管內(nèi)的循環(huán)冷卻水進行熱交換而實現(xiàn)向大氣散熱的設(shè)備（見圖3）。閉式冷卻塔有內(nèi)循環(huán)和外循環(huán)兩個系統(tǒng)，其內(nèi)循環(huán)通過與被冷卻設(shè)備對接，構(gòu)成一個封閉式系統(tǒng)，將系統(tǒng)熱量帶到冷卻塔，也即內(nèi)循環(huán)水通過換熱盤管將熱量傳遞到大氣中；外循環(huán)由循環(huán)噴淋泵，布水系統(tǒng)、集水盤及管路組成，外循環(huán)水不與內(nèi)循環(huán)水相接觸，只是通過冷卻塔內(nèi)的換熱器吸收內(nèi)循環(huán)水的熱量，然后通過和空氣直接接觸來散熱。

圖 3 閉式冷卻塔示意圖

閉式冷卻塔的水質(zhì)較好，被冷卻換熱器不易結(jié)垢，壽命長，應(yīng)用在室外環(huán)境質(zhì)量差且對循環(huán)水質(zhì)要求高的場合優(yōu)勢明顯；但閉式冷卻塔初投資和運行成本均較高，占地面積大，重量較重。

• 干冷器

干冷器即干式冷卻器，其工作過程沒有水的消耗，是通過管內(nèi)走液體與管外走自然風(fēng)來冷卻管內(nèi)液體，降低管內(nèi)液體溫度，達到冷卻的目的 （見圖 4）。干冷器中的載冷劑通常使用乙二醇溶液，需要根據(jù)項目地冬季極端溫度選取溶液濃度。

圖 4 干冷器示意圖

干冷器沒有壓縮機，總體耗電量低，機組使用壽命長，初投資比風(fēng)冷冷水系統(tǒng)和水冷冷水系統(tǒng)低，但其一般安裝在室外，運行環(huán)境相對惡劣，且在夏季炎熱散熱較差的區(qū)域，需配置水噴淋冷卻系統(tǒng)或濕簾系統(tǒng)增強換熱，導(dǎo)致占地面積增大。

5.一次側(cè)系統(tǒng)應(yīng)用場景

在冷板式液冷系統(tǒng)中，發(fā)熱器件不直接接觸液體，而是通過與裝有液體的冷板直接接觸來散熱，或者由導(dǎo)熱部件將熱量傳導(dǎo)到冷板上，然后通過冷板內(nèi)部液體循環(huán)帶走熱量。由于服務(wù)器芯片等發(fā)熱器件不用直接接觸液體，所以該方式對現(xiàn)有服務(wù)器芯片組件及附屬部件改動量較小，可操作性更強，成為目前成熟度高、應(yīng)用廣泛的液冷散熱方案。

二次側(cè)相對穩(wěn)定，通過冷卻液分配單元 （CDU） 及后面的系統(tǒng)架構(gòu)進行配置。一次側(cè)可以考慮多種的使用條件和場景進行組合。按照制冷的方式，主要分成機械制冷和自然冷卻制冷，同時結(jié)合國內(nèi)情況，進行劃分如下：

表 1 一次側(cè)和二次側(cè)供液溫度的參考值

在高熱高濕地區(qū)，機房環(huán)境溫度要求高，直接采用閉式冷塔 / 干冷器無法直接滿足供冷要求，需要輔助機械制冷裝置；冷源通常采用冷水機組 + 冷卻塔的聯(lián)合供冷的方式 （見圖 5），此結(jié)構(gòu)適應(yīng)性強，效率高，但耗水量較大，不適合缺水的地區(qū)。

• 方案一：冷水機組 + 冷卻塔 （開式）+ 板換

一次側(cè)冷源有多種組成形式，需根據(jù)當(dāng)?shù)厥彝猸h(huán)境溫度 （包括干球 / 濕球溫度） 及液冷服務(wù)器的進液溫度，確定是否需要下調(diào)水溫；另外供水溫度應(yīng)比室內(nèi)露點溫度高出 2℃ ～ 3℃ 左右，以防結(jié)露 （見表 1）。

圖 5 冷塔 + 水冷冷機 + 板換系統(tǒng)示意圖

系統(tǒng)根據(jù)室外溫度變化分成兩種模式：

模式一：室外溫度較低，無需冷機開啟，僅憑冷塔 + 板換即可滿足制冷要求。

模式二：冷塔出水水溫高于 CDU 需求，需要機械降溫補冷，形成冷塔 + 冷機的組合形式。

• 方案二：風(fēng)冷冷水機組

風(fēng)冷冷水機組將冷凝器、水泵、壓縮機等部件合成整體，且通常配置干冷器 （免費冷源模塊），集成度高 （見圖 6）；但是無法利用水的蒸發(fā)潛熱，系統(tǒng)能效低，適合系統(tǒng)偏小環(huán)境以及缺水地區(qū)。

圖 6 風(fēng)冷冷水機組示意圖

使用模式與場景 1 相近，也具備兩種模式：

模式一：室外溫度較低，無需冷機開啟，僅憑免費冷源模塊即可滿足制冷要求。

模式二：免費冷源模塊無法滿足 CDU 的溫度要求，需要機械降溫補冷，則直接使用風(fēng)冷冷機形式。

• 方案三：閉式冷卻塔 / 干冷器

對于當(dāng)?shù)貧鉁厝贻^低，可采用閉式冷塔/干冷器直接供冷 （見圖 7），全年無需機械制冷。

圖 7 閉式冷卻塔/干冷器 液冷系統(tǒng)示意圖

閉式冷塔和干冷器使用模式基本相同，閉式冷卻塔系統(tǒng)仍以蒸發(fā)散熱為主，可以輸出更低的溫度，循環(huán)系統(tǒng)水質(zhì)較好，對于 CDU 或者其它換熱設(shè)備友好，只是耗水量大。干冷器體積較大，單機制冷量偏小，但容易布置，配置上濕膜，還可以部分使用蒸發(fā)冷卻。

該系統(tǒng)也分成兩種模式：

模式 1：干模式，無需通過水蒸發(fā)散熱。

模式 2：濕模式，系統(tǒng)需要通過噴水蒸發(fā)的潛熱帶走熱量，閉式冷卻塔此時和開式冷卻塔相同。干冷器通過進風(fēng)口的濕膜初步降溫，再進行二次降溫。

• 方案四：開式冷卻塔

開式冷卻塔制冷模式與閉式冷卻塔完全相同（見圖 8），只是開式冷卻塔水路與大氣相通，水質(zhì)較差。

圖 8 開式冷卻塔冷卻示意圖

上述方案以液冷側(cè)需求為主要考量因素 （見表 2）。冷板液冷機房在實際運轉(zhuǎn)過程中，液冷系統(tǒng)往往仍然需要配備少量空調(diào)使用，以滿足服務(wù)器中非液冷部件的散熱需求。

表 2 一次側(cè)冷源建議方案

二次側(cè)液體回路是指從冷量分配單元到機架，通過供回冷卻工質(zhì)歧管和 IT 設(shè)備連接，然后再通過歧管返回冷量分配單元的設(shè)計。來自二次側(cè)冷卻回路的熱量通過冷量分配單元的板式熱交換器傳遞到一次側(cè)冷卻回路， 最終排放到大氣中或被熱回收再利用。6. 二次側(cè)冷板液冷概述

隨著 IT 設(shè)備功率密度的增加，需要更高效的冷卻技術(shù)來滿足日益增長的算力需求。與傳統(tǒng)的風(fēng)冷相比，液冷方案提供了更加高效的冷卻效率。而何時轉(zhuǎn)換到液冷取決于許多不同的因素，例如包括散熱性能需求、電力配備、PUE 要求、IT 設(shè)備密度、冷卻成本，以及將來的 IT 設(shè)備的性能需求和部署策略等等。另外，是改造現(xiàn)有設(shè)施還是重新建造新的數(shù)據(jù)中心機房, 也需納入 TCO 的考量范圍。

采用液體冷卻的一個直接原因是，傳統(tǒng)的風(fēng)冷方案已經(jīng)無法滿足 IT 設(shè)備的散熱需求，故而需要新的方案提升冷卻能力。對于 CPU 和 GPU 等高功耗元器件，究竟何時或在何種功率水平下需要液體冷卻，目前尚無通用指南，不能一概而論。但應(yīng)注意的是，除了成本分析外，還需要了解液冷方案的一些設(shè)計考量，比如冷卻回路中的所有浸潤材料與所使用的冷卻工質(zhì)相容并保持長期可靠性，使用的冷卻工質(zhì)不能與任何其他冷卻工質(zhì)混合使用等等。