微軟Azure AI基礎(chǔ)設(shè)施是微軟擴(kuò)展產(chǎn)品和服務(wù)的核心支柱,為開(kāi)發(fā)人員提供在Azure平臺(tái)上構(gòu)建下一代AI驅(qū)動(dòng)的應(yīng)用程序所需的系統(tǒng)、工具和資源。微軟在硬件和AI基礎(chǔ)設(shè)施上的早期投資,正在幫助客戶將AI的高效和創(chuàng)新變現(xiàn)為業(yè)務(wù)價(jià)值。借力AI,用戶可以創(chuàng)造更豐富的用戶體驗(yàn),推動(dòng)創(chuàng)新,提高業(yè)務(wù)生產(chǎn)力。
微軟Azure AI基礎(chǔ)設(shè)施能夠支持全球可擴(kuò)展,且未來(lái)微軟仍將對(duì)其進(jìn)行持續(xù)投資與擴(kuò)展?,F(xiàn)在,微軟推出了ND H100 v5虛擬機(jī)系列,這款虛擬機(jī)配備了NVIDIA H100 Tensor Core圖形處理單元(GPU)和低延遲網(wǎng)絡(luò),推動(dòng)企業(yè)步入AI應(yīng)用新時(shí)代。
前所未有的AI處理和規(guī)模
ND H100 v5虛擬機(jī)系列發(fā)布
微軟全新發(fā)布Azure ND H100 v5虛擬機(jī)(VM)系列,現(xiàn)已在美國(guó)東部和美國(guó)中南部Azure區(qū)域提供。該系列配備了最新的NVIDIA H100 Tensor Core GPU和NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)。憑借在超級(jí)計(jì)算性能和規(guī)模方面的豐富經(jīng)驗(yàn),微軟精心設(shè)計(jì)的ND H100 v5系列虛擬機(jī),用于應(yīng)對(duì)先進(jìn)的AI工作負(fù)載帶來(lái)的日益增加的復(fù)雜性。作為微軟在AI領(lǐng)域深入和持續(xù)投資的一部分,微軟正在利用一個(gè)AI優(yōu)化的4K GPU集群,并將在明年將其擴(kuò)展到數(shù)十萬(wàn)個(gè)全新的GPU。
ND H100 v5 VM虛擬機(jī)系列具有以下特性:
AI超級(jí)計(jì)算GPU:配備了八個(gè)NVIDIA H100 Tensor Core GPU。比起上一代虛擬機(jī),該系列可讓AI模型顯著提速,為企業(yè)提供無(wú)與倫比的計(jì)算能力。
新一代計(jì)算機(jī)處理單元(CPU):CPU性能對(duì)于AI的訓(xùn)練和推理至關(guān)重要,微軟選擇了第四代Intel Xeon Scalable處理器,確保虛擬機(jī)達(dá)到最佳的處理速度。
低延遲網(wǎng)絡(luò):采用NVIDIA Quantum-2 ConnectX-7 InfiniBand,每個(gè)GPU擁有400Gb/s、每個(gè)VM擁有3.2 Tb/s的跨節(jié)點(diǎn)帶寬,確保GPU間的無(wú)縫性能,堪稱(chēng)全球頂級(jí)的超級(jí)計(jì)算機(jī)。
優(yōu)化主機(jī)到GPU的性能:通過(guò)PCIe Gen5提供每個(gè)GPU 64GB/s的帶寬,Azure在CPU和GPU之間具有顯著的性能優(yōu)勢(shì)。
大規(guī)模的內(nèi)存和內(nèi)存帶寬:DDR5內(nèi)存是該系列虛擬機(jī)的核心,提供更高的數(shù)據(jù)傳輸速度和效率,使它們成為處理大規(guī)模數(shù)據(jù)集工作負(fù)載的理想選擇。
該系列虛擬機(jī)已經(jīng)證明了它們的性能優(yōu)勢(shì),使用新的8位FP8浮點(diǎn)數(shù)據(jù)類(lèi)型進(jìn)行矩陣乘法操作時(shí),速度提升了六倍,比前一代的FP16更快。ND H100 v5 VM幫助大型語(yǔ)言模型(如BLOOM 175B端到端模型)實(shí)現(xiàn)了最高兩倍的推理速度提升,驗(yàn)證了它們進(jìn)一步優(yōu)化AI應(yīng)用的潛力。
由Azure AI基礎(chǔ)設(shè)施支持的人工智能,具有推動(dòng)從制造到零售、從金融服務(wù)到醫(yī)療保健等各行各業(yè)發(fā)展的潛力。