微軟揭秘用于偵測Azure云計算平臺系統(tǒng)異常的算法

微軟在博客介紹了用于自家Azure云計算，大規(guī)模偵測異常的算法AiDice，官方表示，由于Azure系統(tǒng)規(guī)模太過龐大，即便他們已經(jīng)做了許多預測和故障緩解措施來確保服務的可靠性，但還是可能遇到意想不到的問題，因此需要借助人工智能的力量來偵測異常。

AiDice是微軟研究院和微軟Azure聯(lián)合開發(fā)的新型異常偵測算法，專門用來識別大規(guī)模、多維時間序資料中的異常，AiDice不僅可以快速捕捉事件，也可以提供重要的脈絡，使工程師可以更快速地診斷問題。

微軟提到，之所以需要在異常偵測中使用AIOps方法，是因為Azure資料量太龐大，無法在沒有運用人工智能的情況下進行分析。大規(guī)模的云計算環(huán)境中，微軟監(jiān)控為數(shù)龐大的云計算組件，每個組件記錄大量的資料，而且任何云計算組件的每一列資料都具有數(shù)十個字段的資料，像是時間戳、虛擬機硬件類型、操作系統(tǒng)版本、節(jié)點所在數(shù)據(jù)中心和國家等。

官方解釋，他們所擁有的數(shù)據(jù)結構，本質上是多維時間串行資料，因為維度上的各種組合，個別時間串行的資料量便會以指數(shù)級增加，這代表他們無法迭代和監(jiān)控每個時間串行，因此應用AIOps方法成為必要選擇。

在AiDice之前，微軟在大規(guī)模、高維度時間串行資料中偵測異常的方法，便是挑選一組重要的資料維度進行異常偵測，通過關注范圍子集，就能夠快速偵測組合中的異常，一旦偵測到異常，再由工程師更深入地研究問題，并且運用資料深入研究其他維度，以更全面地診斷問題。

雖然這個方法可行，但是這個方法有兩個缺點，第一是需要大量人力發(fā)現(xiàn)問題根本，另外，這個方法因為只能偵測有限數(shù)量的維度。為了解決這兩個問題，微軟研究院和微軟Azure開始了AiDice算法的研究。

AiDice能夠同時查看數(shù)十個維度資料，也就能夠自動定位時間串行資料樞紐，這讓微軟可以添加更多屬性，諸如硬件微程序、網(wǎng)絡代理版本和操作系統(tǒng)版本等，雖然加入這些屬性會讓搜索空間變大許多，但AiDice能夠將問題編碼成組合優(yōu)化的問題，因此比傳統(tǒng)方法能夠更有效率搜索空間。

AiDice之所以可以同時搜索多維度的秘密，便在于其公式化搜索問題，AiDice算法會先將資料轉化成搜索問題，搜索節(jié)點是通過特定的樞紐開始，并創(chuàng)建與鄰居的關系，像是節(jié)點Country=USA,Datacenter=DC1,DiskType=SSD，AiDice會通過交換、添加和刪除維度來形成相鄰節(jié)點。

接下來AiDice算法會通過最大化兩個關鍵組件的目標函數(shù)，以智能方式搜索整個搜索空間。第一，當錯誤突然發(fā)生或是變化越大，目標函數(shù)得分就會越高，第二，當樞紐發(fā)生的錯誤相對于錯誤總數(shù)的比率高，則AiDice對目標函數(shù)的評分也會越高。AiDice會對目標函數(shù)得分較高的事件發(fā)出警示，而微軟借由過濾和自定義來調整警示，減少噪音并且使AiDice更具可操作性。

AiDice能夠在系統(tǒng)出現(xiàn)問題時，幫助微軟早期掌握問題所在，官方舉例，AiDice曾發(fā)現(xiàn)某種類型虛擬機內存不足的錯誤事件，該虛擬機具有數(shù)十個維度的屬性，AiDice發(fā)現(xiàn)特定樞紐中不同節(jié)點的低內存事件數(shù)量增加，但總體趨勢卻無法被呈現(xiàn)該問題，通過AiDice微軟得以快速偵測問題所在，使工程師快速解決問題根源。