微軟揭露Azure硬件故障預測新方法Narya細節(jié)

來源: 百家號
作者:科技社techpub
時間:2021-03-17
17626
從2020年開始,微軟開始著手在云端運營中導入人工智能技術,希望藉由人工智能來提高服務品質,而微軟在其云端平臺Azure中,部署端到端預測和故障緩解服務,便是策略中的一環(huán)。Narya能預測可能發(fā)生故障的節(jié)點,并自動采取緩解措施解決潛在故障風險,并透過收集數據,改進預測和緩解模型,現在Narya已經成為Azure智慧基礎設施的關鍵部分。

b999a9014c086e061ba49f55570c54fc0ad1cba8.jpeg

從2020年開始,微軟開始著手在云端運營中導入人工智能技術,希望藉由人工智能來提高服務品質,而微軟在其云端平臺Azure中,部署端到端預測和故障緩解服務,便是策略中的一環(huán)。Narya能預測可能發(fā)生故障的節(jié)點,并自動采取緩解措施解決潛在故障風險,并透過收集數據,改進預測和緩解模型,現在Narya已經成為Azure智慧基礎設施的關鍵部分。

Narya是以《魔戒》中精靈三戒之一的火之戒命名,火之戒在故事中,擁有能夠抵抗支配、絕望和疲勞的力量,而Narya在Azure中,則被賦予預測和緩解Azure主機故障的任務,并衡量其采取的措施所帶來的影響,并透過自動回饋循環(huán),智慧地調整緩解措施。

微軟提到,Narya已經透過微軟通用機器學習和預測服務系統(tǒng)Resource Central平臺,部署到全球的Azure運算叢集中,已被用于生產環(huán)境一年多,降低26%的虛擬機器中斷事件,使得Azure整體工作負載更加穩(wěn)定順暢。

過去微軟預測故障和緩解的方法,雖然也是采用機器學習技術,但只會根據預測選擇固定的緩解措施,像是當某個硬件被標記為存在風險,則系統(tǒng)會通知在其上面執(zhí)行工作負載的用戶,并且阻止新的工作分配給該節(jié)點,接著使用即時搬遷服務,盡可能移走所有虛擬機器,過幾天后待所有虛擬機器停止運作,微軟便會停止該節(jié)點進行修復。

這個過程微軟看到一些可以改進的點,像是部分時候因為硬盤損壞等過于嚴重的故障,無法等待幾天才停止或是重新部署虛擬機器,而且很多時候,節(jié)點被標記為存在風險,但其實只是很小的問題,甚至可能是誤報,強制搬遷用戶的虛擬機器造成不必要的麻煩,因此微軟認為,更好的做法是讓預測更加靈活,并且需要評估每個行動切確對用戶產生的影響。

微軟依照這些需求設計了新系統(tǒng)Narya,在采取緩解措施時,會考慮多種可能的辦法,而不是僅對存在風險的預測,提供單一緩減措施,Narya還會使用A/B測試框架和增強學習框架來找出最佳應對措施。

Narya的故障預測和緩解措施分為三個階段,第一階段是預測故障,Narya會使用機隊遙測數據,來預測主機的硬件故障,除了采用基于規(guī)則的預測外,Narya還會使用機器學習方法來產生準確的預測。微軟提到,整合機器學習模型,就可以進行更長時間的分析,分析比規(guī)則預測更多的信號和模式,因此能更早地預測故障。

Narya不采用固定的緩解策略,而會視情況選擇一些小步驟,將這些小步驟組合成緩解措施,像是其中一種緩解措施可能是將節(jié)點標記為不可用,并且嘗試保留內存內容進行核心軟件重新啟動,如果成功了便將節(jié)點重新標記為可用,如果失敗了,便會執(zhí)行即時搬遷,并對該節(jié)點進行診斷,當發(fā)現存在問題的硬件,便會送維修更換硬件。

Narya采用更加靈活的方式應對風險情況,而且使用A/B測試框架和增強學習框架,持續(xù)最佳化緩解措施,盡可能減少虛擬機器中斷的情況。執(zhí)行A/B測試時,Narya會選擇不同的緩解措施,并與未采取任何措施的對照組比較,以收集數據確定哪種緩解措施更好,并且持續(xù)在往后的類似故障進行比較,不斷地改進緩解措施。增強學習框架則是用來找出最佳客戶體驗的方法,讓Narya隨著時間,持續(xù)探索不同的行動,嘗試找出能提升客戶體驗的新方式。

在對故障采取緩解措施后,Narya會收集新數據,評估用戶影響,以便在Narya框架中的每個步驟,持續(xù)改進模型,Narya會自動進行這個評估工作,更新專家規(guī)則和機器學習模型,在之后的決策中,提供更好的緩解措施。

e824b899a9014c0834be23ce5d7f2d007af4f4e4.png

微軟仍在持續(xù)改進Narya,除了要讓Narya能夠處理更多種類的硬件故障之外,也希望能整合更多的緩解措施,響應廣泛的故障預測事件。

立即登錄,閱讀全文
版權說明:
本文內容來自于百家號,本站不擁有所有權,不承擔相關法律責任。文章內容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權,請聯系管理員(zzx@kchuhai.com)刪除!
掃碼登錄
打開掃一掃, 關注公眾號后即可登錄/注冊
加載中
二維碼已失效 請重試
刷新
賬號登錄/注冊
個人VIP
小程序
快出海小程序
公眾號
快出海公眾號
商務合作
商務合作
投稿采訪
投稿采訪
出海管家
出海管家