CXL內(nèi)存池助力Microsoft Azure節(jié)省數(shù)億美元DRAM硬件開銷

微軟、Google、亞馬遜等云計算巨頭，都在以各種“實例”（Instance）和按需付費的方式，向廣大客戶提供其云端硬件資源。不過通常情況下，這些實例都會受到特定的CPU和內(nèi)存配置的約束——意味著客戶智能從預(yù)設(shè)的幾個選項中進行挑選、而無法進一步細分配置。

（圖via SemiAnalisis）

比如每多一個虛擬的CPU核心，就會往上添加2GB的內(nèi)存。且在實例開啟的過程中，預(yù)先分配的CPU與內(nèi)存資源也被單個客戶鎖定，而無法在全局環(huán)境中動態(tài)調(diào)節(jié)。

長期以來，超大規(guī)模企業(yè)一直在努力思考如何緩和這方面的資源浪費——畢竟許多示例沒有充分利用其DRAM，導(dǎo)致整個數(shù)據(jù)中心的使用效率低下。

以Microsoft Azure為例，其測量結(jié)果表明——近半虛擬機從未使用超過50%的預(yù)分配內(nèi)存資源，這樣的浪費是相當(dāng)驚人的。

隨著CPU資源的觸頂，剩余的內(nèi)存資源無法物盡其用，微軟將這種狀態(tài)稱作內(nèi)存擱淺（Memory Stranding）。

更讓人感到震驚的是，多達25%的DRAM在任何特定時刻都可能被擱置。

為了大幅改善這種情況，Microsoft Azure想到了所謂的“內(nèi)存池”（Memory Pooling）概念。

旨在允許CPU訪問其所需的盡可能多的內(nèi)存、而不占用或擱置不需要那么多DRAM資源的虛擬機。

好消息是，全新的CXL緩存一致性協(xié)議，已經(jīng)得到了各大主流硬件提供商的產(chǎn)品支持。

通過采用CXL硬件，微軟等數(shù)據(jù)中心運營商有望大幅降低其DRAM成本。

假如最終得到9~10%的整體DRAM優(yōu)化，大型云服務(wù)器提供商可輕松介紹數(shù)億美元的內(nèi)存硬件開銷。

此外微軟估計，使用CXL和內(nèi)存池技術(shù)，將使數(shù)據(jù)中心的服務(wù)器成本降低4-5%——畢竟僅DRAM組件就占比超過了50%。

性能方面，Microsoft Azure團隊對一些使用本地DRAM/內(nèi)存池的配置進行了基準測試，不過性能損失/最佳效果還是取決于具體的應(yīng)用程序。

一方面，Memory Pooling會導(dǎo)致額外的67-87 ns延遲，導(dǎo)致某些應(yīng)用程序的速度變得更慢。

另一方面，20%左右的應(yīng)用程序并未受到內(nèi)存池的性能拖累，但有23%的應(yīng)用程序性能損失不到5%。

此外25%的應(yīng)用程序減速超20%，12%的應(yīng)用程序減速超30%。

需要指出的是，這只是微軟在首批CXL硬件上展開的早期測試。展望下一代硬件和新的CXL協(xié)議規(guī)范，Memory Pooling還有望帶來更好的體驗。