在邊緣計(jì)算、5G、物聯(lián)網(wǎng)、人工智能等技術(shù)的推動(dòng)下，促進(jìn)了各行各業(yè)的數(shù)據(jù)呈指數(shù)級(jí)增長，也加速了數(shù)據(jù)時(shí)代的進(jìn)程。而數(shù)據(jù)形態(tài)的多樣化和對(duì)計(jì)算需求快速增長，給企業(yè)IT部署帶來了很多新的挑戰(zhàn)。
Rescale首席執(zhí)行官Joris Poort曾表示，Rescale的自建集群的成本總額每月11萬美元，包括運(yùn)營運(yùn)維人員和其他費(fèi)用。這其中大約4萬美元是硬件相關(guān)的成本，而另外7萬幾乎是運(yùn)營成本支出。
可以看出，隨著數(shù)據(jù)變成業(yè)務(wù)經(jīng)營不可或缺的一部分，企業(yè)必須考慮IT設(shè)備的初始建設(shè)投入、時(shí)間成本、運(yùn)維成本，以確定最適合利用的平臺(tái)。企業(yè)正面臨越來越大的壓力，他們需要構(gòu)建和購買能夠快速響應(yīng)組織應(yīng)用程序工作負(fù)載要求的基礎(chǔ)架構(gòu)。在一個(gè)IT已從成本中心轉(zhuǎn)變成企業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)動(dòng)力來源的世界中，一刀切式的IT基礎(chǔ)設(shè)施應(yīng)用方案已然不再適用。
然而，我們會(huì)發(fā)現(xiàn)人類行為會(huì)有周期性“潮汐效應(yīng)”，例如社交類產(chǎn)品，會(huì)出現(xiàn)因?yàn)樯鐣?huì)熱點(diǎn)話題引發(fā)的流量高峰事件，且流量峰值不可預(yù)估。在這種情況下，企業(yè)希望IT設(shè)施服務(wù)的價(jià)格頻繁的變化，同時(shí)設(shè)施的使用效果和時(shí)長有一定的保障，價(jià)格能保持一個(gè)相對(duì)的便宜就是最好的了。針對(duì)企業(yè)的這些需求，華為云就推出了“競(jìng)享實(shí)例”服務(wù)。競(jìng)享型實(shí)例作為計(jì)算實(shí)例新模式，用戶可以先到先享，并將顆粒化算力瞬間批量組織起來用于各類可容錯(cuò)場(chǎng)景。
競(jìng)享實(shí)例采用的是固定折扣、先到先享、使用時(shí)長有保障三大特性，擁有著華為云C系列高性能云服務(wù)器技術(shù)基因，最高支持64核256G，同規(guī)格同性能機(jī)型價(jià)格低至按需實(shí)例的1.5折。為云上用戶提供穩(wěn)定、高效、安全的高性價(jià)比算力。
如此體貼用戶的服務(wù)，競(jìng)享實(shí)例背后依賴的則是基于華為云擎天架構(gòu)中的瑤光智慧云腦系統(tǒng)?，幑獾脑O(shè)計(jì)初衷就是聚焦解決云基礎(chǔ)服務(wù)在創(chuàng)新過程中遇到的痛點(diǎn)，計(jì)算資源碎片的優(yōu)化是其中核心的技術(shù)專項(xiàng)。
瑤光智慧云腦通過智能算法學(xué)習(xí)生成資源池畫像、預(yù)測(cè)客戶需求，調(diào)度時(shí)系統(tǒng)可以選擇最優(yōu)的主機(jī)，讓用戶使用時(shí)無需擔(dān)心實(shí)例被收回。其通過負(fù)載智能分類與周期識(shí)別技術(shù)，對(duì)熱點(diǎn)做到實(shí)時(shí)監(jiān)控和預(yù)測(cè)，結(jié)合擎天Zero hypervisor做到實(shí)時(shí)熱點(diǎn)消除，從而為用戶提供“零”抖動(dòng)的高質(zhì)量算力。同時(shí)，通過運(yùn)籌優(yōu)化與強(qiáng)化學(xué)習(xí)相結(jié)合算法自學(xué)習(xí)技術(shù)，基于現(xiàn)網(wǎng)數(shù)據(jù)持續(xù)迭代優(yōu)化算法，持續(xù)提高資源使用效率，真正做到通過技術(shù)創(chuàng)新釋放紅利。
在服務(wù)客戶的過程中，如果能提前預(yù)測(cè)客戶需求，就能通過智能推薦、智能告警等來提升易用性，更能提前進(jìn)行硬件規(guī)劃、資源騰挪，保障流量洪峰下的擴(kuò)容訴求，助力實(shí)現(xiàn)“極優(yōu)、極簡(jiǎn)”的云上體驗(yàn)。
資源智能畫像（以下簡(jiǎn)稱“智能畫像”）是構(gòu)成華為云瑤光“多維智慧”的關(guān)鍵一環(huán)。根據(jù)VM歷史資源利用率、VM請(qǐng)求時(shí)間間隔、Flavor生命周期等歷史數(shù)據(jù)，利用關(guān)聯(lián)分析模型和深度學(xué)習(xí)算法，可用來描繪資源表面、內(nèi)在以及未來。智能畫像的引入讓云平臺(tái)資源管理更加精細(xì)化、智能化。
時(shí)序預(yù)測(cè)
在云服務(wù)中，像容量預(yù)測(cè)，主機(jī)熱點(diǎn)、動(dòng)態(tài)告警等都涉及到時(shí)序預(yù)測(cè)，即如果知道一段歷史時(shí)間（T*時(shí)刻以前）的數(shù)據(jù)變化規(guī)律，如何去預(yù)測(cè)未來一段時(shí)間的變化趨勢(shì)呢？生活中如天氣的變化、人口增長、經(jīng)濟(jì)增速、股票波動(dòng)，甚至最近大家比較關(guān)注的新冠疫情的發(fā)展都屬于時(shí)序預(yù)測(cè)范疇。
圖 時(shí)序預(yù)測(cè)
云上時(shí)序預(yù)測(cè)的輸入主要來源于主機(jī)或虛擬機(jī)的資源利用率，而云上業(yè)務(wù)的復(fù)雜多變，也提升了分析資源利用規(guī)律的復(fù)雜度?？傮w而言，有三方面的挑戰(zhàn)：
波形的復(fù)雜性：我們初步分析歷史trace的數(shù)據(jù)并形成圖像，可以看到有少部分是平穩(wěn)的甚至是有近似周期性的，也有一部分呈現(xiàn)上升或下降的趨勢(shì)，但更多的是單個(gè)“山峰”或者偶爾突發(fā)的情況，甚至?xí)蓄l繁地上下震蕩；
業(yè)務(wù)的疊加性：以上波形表征的多樣性，主要是由于云平臺(tái)中單臺(tái)物理主機(jī)上可能運(yùn)行著多個(gè)租戶的多個(gè)VM，同時(shí)單個(gè)VM也可能運(yùn)行著多種應(yīng)用；
不可以預(yù)見的人為因素：比如因促銷而產(chǎn)生的批量訂單往往會(huì)導(dǎo)致某個(gè)資源池?zé)o法容納；超大規(guī)格VM的偶然創(chuàng)建也可能引發(fā)一些容量事件。
業(yè)務(wù)識(shí)別
云平臺(tái)每時(shí)每刻承載著海量的業(yè)務(wù)，這些業(yè)務(wù)中有些是CPU密集型的，有些是內(nèi)存密集型，也有些是網(wǎng)絡(luò)密集型等等。假設(shè)大家都“搶”CPU資源，且這些業(yè)務(wù)都放在同一臺(tái)主機(jī)上，那么就會(huì)引發(fā)資源爭(zhēng)奪的“打架”行為，造成業(yè)務(wù)之間的互相干擾；但如果把相同密集型的業(yè)務(wù)分開放，比如CPU密集型與網(wǎng)絡(luò)密集型混合放置，那么也許可以“和平共處”。由此，引出一個(gè)問題（圖8）：在云上如何從底層的資源監(jiān)控?cái)?shù)據(jù)能夠準(zhǔn)確地識(shí)別上層業(yè)務(wù)類型，從而盡可能減少業(yè)務(wù)間的干擾性，保證租戶QoS？
圖 業(yè)務(wù)識(shí)別與QoS調(diào)度
首先，我們可以通過各維度資源的利用情況進(jìn)行關(guān)聯(lián)性分析，使用Spearman系數(shù)計(jì)算任意兩個(gè)維度的關(guān)聯(lián)程度，形成一個(gè)“feature map”（圖9）。此外，我們還可以在原始的數(shù)據(jù)序列中使用多個(gè)不同大小的滑動(dòng)時(shí)間窗口，在每個(gè)時(shí)間窗后中提取數(shù)據(jù)更細(xì)粒度的特征，類似“卷積核”的辦法。綜合以上兩方面，可以對(duì)業(yè)務(wù)類別進(jìn)行初步的畫像。
圖 資源利用相關(guān)性
算力匹配
我們?cè)跇I(yè)務(wù)識(shí)別中發(fā)現(xiàn)一個(gè)現(xiàn)象：相當(dāng)一部分用戶其實(shí)不清楚什么樣的虛擬機(jī)類型/套餐（通常稱為flavor）最適合其業(yè)務(wù)。因?yàn)閺谋O(jiān)控?cái)?shù)據(jù)可以看出，大部分用戶資源跑得很閑，即未能將資源充分利用起來；另外也有部分用戶一直處于滿負(fù)載狀態(tài)，如可能運(yùn)行大數(shù)據(jù)作業(yè)或AI應(yīng)用。那么，如何給用戶推薦既滿足其業(yè)務(wù)訴求又使得性價(jià)比最高的最佳資源配置？如圖10所示，用戶通常只知道自己需要運(yùn)行什么樣的應(yīng)用、有多大的數(shù)據(jù)量、需要什么時(shí)間點(diǎn)完成以及有多少預(yù)算等等，雖然用戶傾向于更便宜的虛擬機(jī)類型，但通常不知道哪種類型性價(jià)比最高。
圖 算力匹配
一般的思路是把所有用戶與歷史所使用過的虛擬機(jī)類型（flavor）構(gòu)成一個(gè)二維矩陣，如果一個(gè)用戶使用過某種虛擬機(jī)類型，那么我們就可以根據(jù)租戶的資源使用情況對(duì)item進(jìn)行綜合打分。當(dāng)然，最終的矩陣是非常稀疏的，我們需要做的是通過SVD&PQ這類的算法進(jìn)行矩陣分解并且預(yù)測(cè)那些用戶沒有使用過的虛擬機(jī)類型的分值，并根據(jù)這個(gè)分值大小進(jìn)行推薦。
但是，如果僅根據(jù)最高預(yù)測(cè)分值進(jìn)行推薦，可能會(huì)導(dǎo)致某些用戶增加的成本較高。如圖11所示，假設(shè)某個(gè)用戶原來使用1u1g的虛擬機(jī)規(guī)格，瞬間給其推薦4u8g的配置，從業(yè)務(wù)上也許已經(jīng)緩和其高負(fù)載狀況，但是用戶需要多付的錢可能是其不能接受的。因此，需要綜合考量虛擬機(jī)價(jià)格和規(guī)格大小進(jìn)行推薦距離度量，給出合理的推薦范圍。
圖 推薦距離度量
容量畫像與最佳適應(yīng)調(diào)度
一方面，如果能夠?qū)Y源池余量進(jìn)行精準(zhǔn)畫像，即通過設(shè)計(jì)測(cè)算定理預(yù)測(cè)每種flavor未來還能放置多少；另一方面，可以統(tǒng)計(jì)每種flavor在過去請(qǐng)求trace中的分布比例。結(jié)合這兩方面的信息，可以設(shè)計(jì)一種容量調(diào)度算法Besfit Capacity用于虛擬機(jī)在線調(diào)度，以讓任意兩種flavor的剩余容量比盡可能接近于它們的歷史請(qǐng)求比。
這里采用首次發(fā)放失敗時(shí)，算法接收的請(qǐng)求數(shù)量與最大理論上界的比值作為評(píng)測(cè)指標(biāo)，從下可以看到，相比傳統(tǒng)Cosfit算法及其改進(jìn)算法，Besfit Capacity算法表現(xiàn)更優(yōu)，甚至某些場(chǎng)景下比傳統(tǒng)Bestfit算法更好。
圖 容量調(diào)度對(duì)比實(shí)驗(yàn)
利用率畫像與彈性調(diào)度
傳統(tǒng)虛擬機(jī)調(diào)度是基于分配率的，但實(shí)際上大部分虛擬機(jī)處于低利用率狀態(tài)，并且不均衡的利用率情況下，容易產(chǎn)生熱點(diǎn)主機(jī)（即主機(jī)資源利用率>60%）。這里通過利用率預(yù)測(cè)的辦法，把基于利用率調(diào)度與基于分配率調(diào)度進(jìn)行對(duì)比實(shí)驗(yàn)，同時(shí)對(duì)相同一段時(shí)間的歷史請(qǐng)求序列進(jìn)行回放。從表1可以看到，相比分配率調(diào)度，利用率畫像+動(dòng)態(tài)Bestfit算法可以少用5臺(tái)主機(jī)，內(nèi)存碎片率減少2.1%，同時(shí)熱點(diǎn)主機(jī)數(shù)從原來的6臺(tái)減少到0臺(tái)。
表1 - 利用率調(diào)度與分配率調(diào)度對(duì)比實(shí)驗(yàn)
資源預(yù)測(cè)與容量規(guī)劃
前面介紹的分解-組合預(yù)測(cè)法EEMD與傳統(tǒng)Holt-Winters進(jìn)行的實(shí)驗(yàn)對(duì)比分析，使用兩個(gè)trace分別預(yù)測(cè)它們未來半小時(shí)、一小時(shí)以及一個(gè)半小時(shí)的資源用量，并且預(yù)測(cè)多次。從下圖可以看出，EEMD預(yù)測(cè)法擬合效果更好、性能更加穩(wěn)定，尤其在較長時(shí)間的預(yù)測(cè)場(chǎng)景中，預(yù)測(cè)誤差可比Holt-Winters減少20%以上。我們使用這個(gè)方法進(jìn)行容量規(guī)劃，預(yù)測(cè)準(zhǔn)確度95%以上，上線后有效將容量引起的客戶事件數(shù)減少60%以上。
圖 EEMD與Holt-Winters對(duì)比實(shí)驗(yàn)
借助華為云瑤光智慧云腦平臺(tái)，競(jìng)享實(shí)例以致力讓用戶“用得上算力、用得起算力”的創(chuàng)新商業(yè)模式，推出的全新一代計(jì)算服務(wù)，能夠幫助用戶短時(shí)間內(nèi)，以低成本快速提升算力規(guī)模，從而為助力企業(yè)真正享受到“算力自由”！如果現(xiàn)在想體驗(yàn)競(jìng)享實(shí)例，瞬享自由算力，點(diǎn)擊立即開啟體驗(yàn)之旅！
華為云
專欄
閩公網(wǎng)安備 35010202001226號(hào)
