微軟發(fā)布Azure ND H100 v5虛擬機(jī)，配備8個(gè)英偉達(dá)H100 GPU

IT之家 11月21日消息，微軟Azure AI基礎(chǔ)設(shè)施迎來升級(jí)，推出了ND H100 v5虛擬機(jī)系列，這款虛擬機(jī)配備了英偉達(dá)H100 Tensor Core圖形處理單元（GPU）和低延遲網(wǎng)絡(luò)。

據(jù)介紹，微軟全新發(fā)布Azure ND H100 v5虛擬機(jī)（VM）系列，現(xiàn)已在美國(guó)東部和美國(guó)中南部Azure區(qū)域提供。

該系列配備了最新的英偉達(dá)H100 Tensor Core GPU和英偉達(dá)Quantum-2 InfiniBand網(wǎng)絡(luò)，用于應(yīng)對(duì)AI工作負(fù)載帶來的日益增加的復(fù)雜性。作為微軟在AI領(lǐng)域深入和持續(xù)投資的一部分，微軟正在利用一個(gè)AI優(yōu)化的4K GPU集群，并將在明年將其擴(kuò)展到數(shù)十萬個(gè)全新的GPU。

IT之家匯總ND H100 v5 VM虛擬機(jī)系列的特性：

·AI超級(jí)計(jì)算GPU：配備了八個(gè)英偉達(dá)H100 Tensor Core GPU。比起上一代虛擬機(jī)，該系列可讓AI模型顯著提速。

·新一代計(jì)算機(jī)處理單元（CPU）：CPU性能對(duì)于AI的訓(xùn)練和推理至關(guān)重要，微軟選擇了第四代英特爾Xeon Scalable處理器。

·低延遲網(wǎng)絡(luò)：采用英偉達(dá)Quantum-2 ConnectX-7 InfiniBand，每個(gè)GPU擁有400Gb/s、每個(gè)VM擁有3.2 Tb/s的跨節(jié)點(diǎn)帶寬。

·優(yōu)化主機(jī)到GPU的性能：通過PCIe Gen5提供每個(gè)GPU 64GB/s的帶寬。

·大規(guī)模的內(nèi)存和內(nèi)存帶寬：DDR5內(nèi)存是該系列虛擬機(jī)的核心，提供更高的數(shù)據(jù)傳輸速度和效率。

微軟表示，該系列虛擬機(jī)使用新的8位FP8浮點(diǎn)數(shù)據(jù)類型進(jìn)行矩陣乘法操作時(shí)，速度提升了六倍，比前一代的FP16更快。ND H100 v5 VM幫助大型語(yǔ)言模型（如BLOOM 175B端到端模型）實(shí)現(xiàn)了最高兩倍的推理速度提升。