革命性容器集群,華為云CCE Turbo技術(shù)內(nèi)幕全解密

來(lái)源: 天極網(wǎng)
作者:搜狐網(wǎng)
時(shí)間:2021-06-03
16730
5月31日,在華為云Techwave云基礎(chǔ)設(shè)施技術(shù)專(zhuān)題日上,華為云容器批量計(jì)算首席架構(gòu)師馬達(dá)對(duì)CCE?Turbo的技術(shù)內(nèi)幕進(jìn)行了深度解讀,CCE Turbo是華為云推出的一款革命性容器集群,在華為開(kāi)發(fā)者大會(huì)(Cloud)2021上正式發(fā)布,通過(guò)計(jì)算、網(wǎng)絡(luò)、調(diào)度的全方位加速,為企業(yè)應(yīng)用創(chuàng)新提速。

5月31日,在華為云Techwave云基礎(chǔ)設(shè)施技術(shù)專(zhuān)題日上,華為云容器批量計(jì)算首席架構(gòu)師馬達(dá)對(duì)CCE Turbo的技術(shù)內(nèi)幕進(jìn)行了深度解讀,CCE Turbo是華為云推出的一款革命性容器集群,在華為開(kāi)發(fā)者大會(huì)(Cloud)2021上正式發(fā)布,通過(guò)計(jì)算、網(wǎng)絡(luò)、調(diào)度的全方位加速,為企業(yè)應(yīng)用創(chuàng)新提速。

圖片1.jpg

軟硬協(xié)同,為計(jì)算加速

為了解決集群服務(wù)器性能無(wú)法完全發(fā)揮的問(wèn)題,華為云基于擎天架構(gòu)的軟硬協(xié)同能力,推出了業(yè)界獨(dú)家的容器卸載技術(shù),并應(yīng)用到CCE?Turbo,讓集群資源100%用于業(yè)務(wù)處理。同時(shí),通過(guò)對(duì)引擎進(jìn)行瘦身、優(yōu)化內(nèi)部執(zhí)行邏輯及核心模塊重寫(xiě),如基于Rust語(yǔ)言重寫(xiě)了?shimv2?和?agent,減少了進(jìn)程數(shù)量、通過(guò)代碼優(yōu)化減少內(nèi)存消耗,提升容器啟動(dòng)性能和Cgroup管理能力,同時(shí)結(jié)合擎天卡的高能性處理能力,將集群整體性能提升40%,資源使用成本節(jié)省30%。

Trunkport,為網(wǎng)絡(luò)加速

網(wǎng)絡(luò)連通速度、轉(zhuǎn)發(fā)效率一直是業(yè)務(wù)應(yīng)對(duì)大流量時(shí)所面臨的挑戰(zhàn),華為云基于云原生2.0“IN Cloud”理念,打造了全新的云原生網(wǎng)絡(luò),利用Trunkport技術(shù)為網(wǎng)絡(luò)全面加速。

Trunkport技術(shù)使得容器可直通VPC網(wǎng)絡(luò),將原有的“容器網(wǎng)絡(luò)?+?虛擬機(jī)網(wǎng)絡(luò)“的兩層模型變?yōu)橐粚?,網(wǎng)絡(luò)資源連通時(shí)間縮短一半,有效支撐業(yè)務(wù)30秒內(nèi)擴(kuò)容1000容器實(shí)例,輕松應(yīng)對(duì)流量浪涌,同時(shí)也將網(wǎng)絡(luò)通信時(shí)延降低了40%,讓?xiě)?yīng)用訪問(wèn)更流暢;

CCE Turbo還率先在業(yè)界實(shí)現(xiàn)了為容器配置獨(dú)立安全組和QoS,相比目前其它廠商容器與集群節(jié)點(diǎn)共享安全組的方案,不僅增強(qiáng)了容器通信安全性,還提升了大流量的轉(zhuǎn)發(fā)效率。此外,CCE?Turbo還基于CRD機(jī)制擴(kuò)展了Kubernetes對(duì)象,用于實(shí)現(xiàn)各種復(fù)雜安全隔離訴求,并進(jìn)一步簡(jiǎn)化容器安全組的配置。

Volcano,調(diào)度加速

企業(yè)核心業(yè)務(wù)全面云原生化后,如何提升調(diào)度效率、提升集群利用率,是困擾很多企業(yè)的難題。CCE Turbo基于Volcano實(shí)現(xiàn)了三大核心調(diào)度能力:

在線離線混合調(diào)度:CCE?Turbo將企業(yè)離線和在線業(yè)務(wù)在同一集群中混合部署,相比之前不同業(yè)務(wù)分集群部署,極大的降低了運(yùn)維工作量,同時(shí),根據(jù)在線、離線業(yè)務(wù)的不同需求進(jìn)行靈活調(diào)度,如:當(dāng)在線業(yè)務(wù)訪問(wèn)量低時(shí),CCE Turbo可將空閑資源用來(lái)運(yùn)行離線計(jì)算業(yè)務(wù)(如離線分析、模型訓(xùn)練等),而當(dāng)業(yè)務(wù)高峰來(lái)臨前,會(huì)自動(dòng)釋放離線業(yè)務(wù)占用的資源,保障在線業(yè)務(wù)對(duì)資源的訴求;

應(yīng)用感知智能調(diào)度:為了進(jìn)一步提升混合部署后的集群利用率,通過(guò)感知應(yīng)用模型(如web類(lèi)應(yīng)用、Tensorflow的PS和worker、Spark的Driver和executor等),針對(duì)不同應(yīng)用模型對(duì)資源的訴求、應(yīng)用負(fù)載情況,通過(guò)資源按需搶占、分時(shí)復(fù)用等機(jī)制,減少集群資源的空閑比例;并通過(guò)感知任務(wù)間拓?fù)浣Y(jié)構(gòu),將各任務(wù)調(diào)度到最佳節(jié)點(diǎn)上,減少因網(wǎng)絡(luò)瓶頸、數(shù)據(jù)跨節(jié)點(diǎn)傳輸?shù)葞?lái)的時(shí)間損耗,進(jìn)而可以將集群利用率提升2倍;

大規(guī)模分布式調(diào)度:為了保障業(yè)務(wù)混合部署后,海量任務(wù)并發(fā)調(diào)度的難題,CCE Turbo推出了分布式架構(gòu)的任務(wù)調(diào)度器,提升吞吐能力,并通過(guò)調(diào)度算法剪枝,減少尋址深度和廣度,同時(shí)結(jié)合調(diào)度決策復(fù)用機(jī)制,可將調(diào)度尋址時(shí)間縮短10倍以上,實(shí)現(xiàn)每秒1萬(wàn)容器的大規(guī)模并發(fā)調(diào)度。

CCE Turbo為VIPKID音視頻業(yè)務(wù)全面提速

VIPKID作為CCE Turbo的早期用戶(hù),已充分享受到CCE Turbo三大加速為業(yè)務(wù)帶來(lái)的價(jià)值,本次專(zhuān)題日上,VIPKID后端研發(fā)高級(jí)專(zhuān)家慈軼恒在分享中表示,“使用CCE Turbo后,VIPKID音視頻業(yè)務(wù)在各方面的指標(biāo)都得到了不同程度的優(yōu)化,同等規(guī)格集群性能較之前提升了40%,業(yè)務(wù)交互時(shí)延降低了40%,使得用戶(hù)體驗(yàn)進(jìn)一步提升,整個(gè)業(yè)務(wù)成本節(jié)省43%左右,很好的控制了業(yè)務(wù)高速增長(zhǎng)期的IT成本增長(zhǎng)速度?!?/p>

作為最早一批投身云原生技術(shù)的廠商,華為云是云原生計(jì)算基金會(huì)(CNCF)在亞洲唯一的初創(chuàng)成員,社區(qū)代碼貢獻(xiàn)和Maintainer席位數(shù)均位居亞洲第一,并貢獻(xiàn)首個(gè)云原生智能邊緣項(xiàng)目KubeEdge和批量計(jì)算項(xiàng)目Volcano,在華為開(kāi)發(fā)者大會(huì)2021(Cloud)上,華為云還聯(lián)合多家企業(yè)開(kāi)源了云原生多云容器編排項(xiàng)目Karmada,持續(xù)引領(lǐng)云原生技術(shù)發(fā)展方向;在產(chǎn)品創(chuàng)新方面,華為云自2016年起相繼在業(yè)內(nèi)首發(fā)一系列云原生產(chǎn)品與解決方案,在Forrester的產(chǎn)品能力評(píng)估中,連續(xù)兩年獲得滿分,且容器軟件市場(chǎng)排名已位居中國(guó)第一;在繁榮產(chǎn)業(yè)方面,華為云不僅聯(lián)合中國(guó)信通院發(fā)布了云原生2.0白皮書(shū),全面詮釋云原生2.0核心理念,還與CNCF、中國(guó)信通院聯(lián)合構(gòu)建了全球化的云原生交流平臺(tái)——?jiǎng)?chuàng)原會(huì),華為云將聯(lián)合各行業(yè)云原生精英一起,共同探索前沿云原生技術(shù)、共享產(chǎn)業(yè)落地實(shí)踐,用云原生技術(shù)全面賦能企業(yè)數(shù)字化轉(zhuǎn)型。

立即登錄,閱讀全文
版權(quán)說(shuō)明:
本文內(nèi)容來(lái)自于天極網(wǎng),本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個(gè)人觀點(diǎn),不代表快出海對(duì)觀點(diǎn)贊同或支持。如有侵權(quán),請(qǐng)聯(lián)系管理員(zzx@kchuhai.com)刪除!
相關(guān)文章
HDC 2025耀星·領(lǐng)航出海高峰論壇:以全域生態(tài)協(xié)同重構(gòu)出海增長(zhǎng)曲線
HDC 2025耀星·領(lǐng)航出海高峰論壇:以全域生態(tài)協(xié)同重構(gòu)出海增長(zhǎng)曲線
6月21日,HDC 2025耀星·領(lǐng)航出海高峰論壇在東莞三丫坡舉辦,吸引了全球開(kāi)發(fā)者、企業(yè)及生態(tài)出海專(zhuān)家共同參與。論壇聚焦2025年重點(diǎn)區(qū)域行業(yè)生態(tài)趨勢(shì),通過(guò)歐洲、歐亞、中東、亞太、拉美等差異化市場(chǎng)的掘金案例,提供從獲量到變現(xiàn)的可持續(xù)發(fā)展新思路。
華為云
開(kāi)發(fā)者
企業(yè)出海
2025-06-212025-06-21
近6成金融機(jī)構(gòu)的選擇!華為云GaussDB加快金融核心系統(tǒng)轉(zhuǎn)型
近6成金融機(jī)構(gòu)的選擇!華為云GaussDB加快金融核心系統(tǒng)轉(zhuǎn)型
當(dāng)前,數(shù)據(jù)庫(kù)在金融機(jī)構(gòu)的應(yīng)用正在從辦公、一般系統(tǒng)逐步邁入核心系統(tǒng)應(yīng)用的深水區(qū)。如何構(gòu)建安全可靠、高效穩(wěn)定的核心系統(tǒng)數(shù)據(jù)庫(kù),支持業(yè)務(wù)運(yùn)營(yíng)和管理決策,成為了眾多金融機(jī)構(gòu)關(guān)注的焦點(diǎn)問(wèn)題。
華為云
2024-07-042024-07-04
華為云以系統(tǒng)性創(chuàng)新加速千行萬(wàn)業(yè)智能化升級(jí)
華為云以系統(tǒng)性創(chuàng)新加速千行萬(wàn)業(yè)智能化升級(jí)
華為云全球銷(xiāo)售收入達(dá)553億元人民幣,是全球增長(zhǎng)最快的主流云廠商之一。
華為云
2024-04-222024-04-22
華為云發(fā)布新型工業(yè)互聯(lián)網(wǎng)平臺(tái)參考架構(gòu)
華為云發(fā)布新型工業(yè)互聯(lián)網(wǎng)平臺(tái)參考架構(gòu)
近日,在華為分析師大會(huì)上,華為混合云副總裁胡玉海重磅發(fā)布《新型工業(yè)互聯(lián)網(wǎng)平臺(tái)參考架構(gòu)》白皮書(shū),在傳統(tǒng)工業(yè)互聯(lián)網(wǎng)的基礎(chǔ)上,融入大模型的能力,讓智能化賦能新型工業(yè)化。
華為云
云服務(wù)
2024-04-222024-04-22
優(yōu)質(zhì)服務(wù)商推薦
更多
掃碼登錄
打開(kāi)掃一掃, 關(guān)注公眾號(hào)后即可登錄/注冊(cè)
加載中
二維碼已失效 請(qǐng)重試
刷新
賬號(hào)登錄/注冊(cè)
個(gè)人VIP
小程序
快出海小程序
公眾號(hào)
快出海公眾號(hào)
商務(wù)合作
商務(wù)合作
投稿采訪
投稿采訪
出海管家
出海管家