重磅｜擁抱多云時(shí)代，數(shù)數(shù)科技發(fā)布ThinkingEngine云原生解決方案

隨著人口紅利的消散，游戲市場(chǎng)進(jìn)入存量競(jìng)爭(zhēng)時(shí)代。大環(huán)境的變化為游戲行業(yè)的業(yè)務(wù)發(fā)展帶來(lái)諸多挑戰(zhàn)，「降本增效」已然成為近些年游戲廠商開(kāi)展業(yè)務(wù)的關(guān)鍵詞之一。加之玩家要求的不斷攀升、競(jìng)爭(zhēng)態(tài)勢(shì)的愈演愈烈，游戲廠商正在深化各種數(shù)字化策略，挖掘海量數(shù)據(jù)價(jià)值，提高業(yè)務(wù)增長(zhǎng)效率和創(chuàng)新能力，為玩家打造更精細(xì)化的游戲服務(wù)。

01

存算一體架構(gòu)難以滿足精細(xì)化運(yùn)營(yíng)

基于上述趨勢(shì)，傳統(tǒng)的存算一體架構(gòu)逐漸在資源投入、運(yùn)維等層面逐漸暴露出以下問(wèn)題：

延遲數(shù)據(jù)對(duì)投放計(jì)劃調(diào)整和活動(dòng)優(yōu)化等業(yè)務(wù)場(chǎng)景的價(jià)值不高

多業(yè)務(wù)共用同一查詢集群，易造成不同業(yè)務(wù)間的資源搶奪、相互影響

存算一體化1:1擴(kuò)容的方式對(duì)部分場(chǎng)景友好度不夠，容易造成資源浪費(fèi)

基于本地存儲(chǔ)的分布式文件系統(tǒng)在成本、擴(kuò)展性、資源彈性等方面優(yōu)勢(shì)不大

部署復(fù)雜，運(yùn)維難度大，且較大程度上依賴運(yùn)維人員能力

......

尤其是在數(shù)據(jù)爆發(fā)增長(zhǎng)的當(dāng)下，數(shù)據(jù)的處理能力和時(shí)效性，早已成為數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的關(guān)鍵所在?；谘訒r(shí)數(shù)據(jù)分析出的市場(chǎng)策略，已經(jīng)無(wú)法讓企業(yè)在瞬息萬(wàn)變的市場(chǎng)環(huán)境和不斷迭代的用戶需求下斬獲先機(jī)。

02

擁抱云原生加速度過(guò)行業(yè)陣痛期

云原生高效部署、敏捷迭代、彈性擴(kuò)容等優(yōu)勢(shì)，天然地突破了傳統(tǒng)存算一體架構(gòu)的瓶頸，也為數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)帶來(lái)了新的轉(zhuǎn)機(jī)。

云原生通過(guò)調(diào)度、資源隔離等技術(shù)手段，將在線和離線業(yè)務(wù)按優(yōu)先級(jí)和類型部署在相同的物理機(jī)上，避免傳統(tǒng)模式下高峰期資源占滿、低谷期資源利用率較低的情況。且云原生的資源池也可以承載更豐富的集群類型，實(shí)現(xiàn)集群的按需拉起和釋放。在集群部署和運(yùn)維方面，配備統(tǒng)一的管理界面，可對(duì)其運(yùn)行狀態(tài)進(jìn)行統(tǒng)一監(jiān)控和管理。

云原生技術(shù)的出現(xiàn)，為企業(yè)的發(fā)展提供了一條降本增效的新思路。尤其是當(dāng)前游戲進(jìn)入精品化發(fā)展階段，業(yè)務(wù)的高速發(fā)展對(duì)算力提出了更高的要求，云原生化對(duì)游戲行業(yè)而言勢(shì)在必行。

為了幫助更多游戲廠商以更低的成本、更高的效率地開(kāi)展精細(xì)化業(yè)務(wù)，數(shù)數(shù)科技利用云原生技術(shù)打造了存算分離的云原生彈性集群方案——TE云原生方案（以下簡(jiǎn)稱“方案”），助力游戲廠商在更豐富、復(fù)雜的應(yīng)用場(chǎng)景下，都能夠?qū)崟r(shí)、高效、經(jīng)濟(jì)地開(kāi)展復(fù)雜、多元的數(shù)據(jù)分析需求。

03

TE云原生解決方案

打造性能與成本的卓越組合

TE云原生解決方案基于云上的對(duì)象存儲(chǔ)和容器化技術(shù)，實(shí)現(xiàn)Trino查詢引擎的自定義彈性伸縮，資源自定義調(diào)度、隔離以及數(shù)據(jù)存儲(chǔ)的按需使用和無(wú)限擴(kuò)展能力。

TE云原生解決方案架構(gòu)圖

在存儲(chǔ)方面，支持跟云廠商的對(duì)象存儲(chǔ)如AWS S3打通，能在完全不影響上層數(shù)據(jù)查詢應(yīng)用的情況下，將歷史數(shù)據(jù)存放在云存儲(chǔ)中。結(jié)合實(shí)際落地案例數(shù)據(jù)可知，方案的落地能夠?qū)崿F(xiàn)游戲廠商月度服務(wù)器硬件成本30%以上的縮減。

在計(jì)算方面，方案可以實(shí)現(xiàn)對(duì)云計(jì)算資源的管理，將云廠商的容器服務(wù)如AWS EKS集群加入整體計(jì)算資源池中，根據(jù)隔離需求動(dòng)態(tài)安裝對(duì)應(yīng)的彈性和隔離策略。這種方式可以提供隔離的計(jì)算環(huán)境，滿足不同請(qǐng)求類型的查詢，并且根據(jù)計(jì)算復(fù)雜情況動(dòng)態(tài)伸縮，既滿足資源的按需分配，又能降本增效。

·查詢能力提升

游戲廠商的查詢大多集中在每天上班的特定時(shí)段，如上午09:00～11:30、下午14:00～17:00，這段時(shí)間內(nèi)很可能會(huì)產(chǎn)生某個(gè)時(shí)刻的請(qǐng)求高并發(fā)和大查詢。但因?yàn)榉?wù)器資源是固定的，一旦資源消耗完全，將造成查詢卡頓等現(xiàn)象。

方案利用云原生資源可靈活調(diào)度和管理的特性，實(shí)現(xiàn)了資源在查詢高峰時(shí)的自動(dòng)化拉起。一旦高峰過(guò)去，將在空閑時(shí)段回收資源。此外，方案增強(qiáng)了Kubernetes HPA的彈性能力，可根據(jù)Trino worker查詢到的負(fù)載壓力和業(yè)務(wù)維度指標(biāo)，靈活彈性地控制集群規(guī)模。集群規(guī)模越大，TE系統(tǒng)的查詢并發(fā)能力越高，吞吐量越大。

·業(yè)務(wù)資源隔離

方案使用的容器技術(shù)有良好的資源隔離能力，每個(gè)Trino實(shí)例單獨(dú)占用一個(gè)容器資源，容器與容器之間資源相互隔離。在架構(gòu)層面按照業(yè)務(wù)拆分Trino集群，不同的業(yè)務(wù)使用獨(dú)立的Trino集群。這樣從架構(gòu)層面和容器資源層面都做到了較好的資源隔離，避免業(yè)務(wù)之間的相互影響。

·資源彈性伸縮

利用云原生Kubernetes和容器相關(guān)技術(shù)，實(shí)現(xiàn)資源快速的彈性伸縮以及靈活動(dòng)態(tài)的按需分配。其中，資源的申請(qǐng)和回收都是TE云原生集群根據(jù)實(shí)際配置的彈性伸縮副本數(shù)（min,max）和彈性監(jiān)控指標(biāo)、閾值自動(dòng)完成，整個(gè)過(guò)程無(wú)需人工參與。資源的按需分配，不僅減少了預(yù)采購(gòu)冗余服務(wù)器的成本，還提高了資源利用率，保障了服務(wù)的響應(yīng)速度。

為了提升資源的響應(yīng)速度，數(shù)數(shù)采用了諸多措施，以AWS為例，通過(guò)Bottlerocket的AMI制作快照（提前將鏡像緩存到快照），并使用Karpenter管理和控制節(jié)點(diǎn)的彈性伸縮，將原本分鐘級(jí)的彈性節(jié)點(diǎn)速度優(yōu)化到秒級(jí)。

·資源靈活調(diào)度

云廠商提供了豐富的資源規(guī)格，不同規(guī)格資源的搭配使用，可能會(huì)在更小成本下產(chǎn)生更大的價(jià)值。如，一些常規(guī)應(yīng)用可以使用x86服務(wù)器，一些查詢應(yīng)用可以使用ARM服務(wù)器，通常來(lái)說(shuō)ARM服務(wù)器較x86成本低10%左右。方案中的節(jié)點(diǎn)組就對(duì)云平臺(tái)中的多種實(shí)例類型進(jìn)行了整合，并基于Kubernetes強(qiáng)大的兼容性和適配性，實(shí)現(xiàn)了根據(jù)應(yīng)用特性對(duì)不同類型資源的調(diào)度。其中，所有節(jié)點(diǎn)組都會(huì)被統(tǒng)一管理，并根據(jù)業(yè)務(wù)場(chǎng)景、資源規(guī)模進(jìn)行調(diào)整優(yōu)化，以保證應(yīng)用性能和服務(wù)器成本之間達(dá)成平衡。

·架構(gòu)靈活可擴(kuò)展

方案結(jié)合了微服務(wù)的架構(gòu)設(shè)計(jì)理念和云原生技術(shù)，極大地增加了架構(gòu)的擴(kuò)展性和靈活性，如：只需要簡(jiǎn)單的配置部署即可實(shí)現(xiàn)多個(gè)Trino集群同時(shí)、相互獨(dú)立的運(yùn)行。應(yīng)用的調(diào)度和分配也都可以獨(dú)立管控，相較于虛擬機(jī)的部署方式在靈活性和可移植性上有較大的改善。

“實(shí)時(shí)、高效、經(jīng)濟(jì)”已成為游戲企業(yè)精細(xì)化運(yùn)營(yíng)之路上的關(guān)鍵詞。TE云原生解決方案能夠幫助游戲廠商實(shí)現(xiàn)更低成本下更低延時(shí)的數(shù)據(jù)分析，第一時(shí)間完成對(duì)市場(chǎng)和游戲狀態(tài)的判斷。

目前，數(shù)數(shù)已經(jīng)攜手Habby、九九互動(dòng)、青瓷、點(diǎn)點(diǎn)互動(dòng)落地了計(jì)算和存儲(chǔ)引擎云原生方案。未來(lái)，數(shù)數(shù)還將全面實(shí)現(xiàn)TE各組件的云原生化，打造分析業(yè)務(wù)的一鍵上云，為游戲廠商實(shí)現(xiàn)更優(yōu)的分析體驗(yàn)和成本ROI。