啟元世界選擇亞馬遜云科技“智能湖倉”進行云上創(chuàng)新，提升業(yè)務(wù)體驗

人工智能平臺公司啟元世界正在借助亞馬遜云科技的“智能湖倉”進行云上創(chuàng)新，實現(xiàn)數(shù)據(jù)的融合和統(tǒng)一治理，加快其全生命周期產(chǎn)品矩陣理念的落地和規(guī)模發(fā)展。同時，在流數(shù)據(jù)處理、批數(shù)據(jù)處理和即席查詢等不同數(shù)據(jù)場景下，利用“智能湖倉”架構(gòu)專門構(gòu)建的理念，對流數(shù)據(jù)處理系統(tǒng)實現(xiàn)了分鐘級部署，并能夠輕松承載百萬QPS（每秒查詢率）流數(shù)據(jù)；還將批處理運行時間減少80%，運營總成本下降50%。

啟元世界的目標(biāo)是打造游戲全生命周期的產(chǎn)品矩陣，用領(lǐng)先的AI和數(shù)據(jù)分析能力，幫助游戲快速上線，改善游戲體驗，提升客戶留存，獲得更大成功。作為服務(wù)全球客戶的人工智能平臺公司，啟元世界的技術(shù)架構(gòu)必須做到全球部署，并且需要有極高的可靠性和可擴展性。為了突出和強化在人工智能領(lǐng)域的優(yōu)勢，啟元世界還希望把更多精力聚焦在算法迭代與產(chǎn)品打磨上，這就需要一個成熟、穩(wěn)定、免運維的大數(shù)據(jù)托管服務(wù)。此外，服務(wù)上線后，伴隨業(yè)務(wù)規(guī)模的快速增長，游戲運營過程中的波峰、波谷也會愈發(fā)明顯，這就需要一個靈活敏捷且具有彈性伸縮能力的技術(shù)架構(gòu)。

我們的“智能湖倉”架構(gòu)將全面而深入的數(shù)據(jù)服務(wù)無縫集成，打通了數(shù)據(jù)湖和數(shù)據(jù)倉庫之間的數(shù)據(jù)移動及訪問。并且進一步實現(xiàn)了數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫，以及在數(shù)據(jù)查詢、數(shù)據(jù)分析、機器學(xué)習(xí)等各類專門構(gòu)建的服務(wù)之間按需移動，從而形成統(tǒng)一且連續(xù)的整體，滿足客戶各種實際業(yè)務(wù)場景下的不同需求。

“亞馬遜云科技智能湖倉架構(gòu)所提出的自由的數(shù)據(jù)移動，數(shù)據(jù)湖倉與AI/ML服務(wù)組件的深度融合能力，為我們?nèi)芷诋a(chǎn)品矩陣理念的快速落地和規(guī)模發(fā)展，提供了超強有力的支持?！?/p>

——啟元世界CTO龍海濤

我們的“智能湖倉”架構(gòu)涵蓋數(shù)據(jù)源、數(shù)據(jù)攝取層、存儲層、目錄層、數(shù)據(jù)處理層和消費層六層架構(gòu)，可幫助客戶輕松應(yīng)對海量業(yè)務(wù)數(shù)據(jù)，充分挖掘數(shù)據(jù)價值。

在流處理方面，Amazon Kinesis云原生流數(shù)據(jù)全棧解決方案可以一站式解決游戲數(shù)據(jù)收集、分析、歸檔問題，從運維敏捷性和性能上都為啟元世界提供了非常優(yōu)秀的體驗。Amazon Kinesis自身就具有面向公網(wǎng)收集流數(shù)據(jù)的能力，并且高可用，易于擴展，有完善的鑒權(quán)機制，也不需要管理底層硬件。另外，鑒權(quán)機制還可以一鍵把數(shù)據(jù)歸檔到Amazon Simple Storage Service(Amazon S3)，或者使用Flink框架直接對流數(shù)據(jù)進行業(yè)務(wù)分析。使用Amazon Kinesis之后，啟元世界流數(shù)據(jù)處理系統(tǒng)實現(xiàn)了分鐘級部署，并能夠輕松承載百萬QPS（每秒查詢率）流數(shù)據(jù)。

在批處理方面，原先啟元世界習(xí)慣于使用Spark進行大數(shù)據(jù)分析，但管理Spark集群耗費團隊太多精力，且每天等待數(shù)據(jù)處理時間過于漫長，導(dǎo)致無法高效地把主要精力投入到業(yè)務(wù)創(chuàng)新。得益于亞馬遜云科技擁抱開源的產(chǎn)品理念，Amazon EMR能夠在云上輕松部署彈性可擴展的Spark集群環(huán)境，進行SQL開發(fā)工作，完全不用擔(dān)心集群維護和計算能力受限。此外，亞馬遜云科技托管的Apache Airflow，也能夠幫助啟元世界實現(xiàn)批處理過程的自動化。通過使用Amazon EMR和亞馬遜云科技托管的Apache Airflow，批處理運行時間減少80%，在不改變采用開源組件開發(fā)體驗的前提下，啟元世界運營總成本下降50%，能夠承載的查詢數(shù)量與復(fù)雜度上升數(shù)倍。

在即席查詢方面，啟元世界業(yè)務(wù)的快速增長需要越來越多的報表，業(yè)務(wù)管理和決策也會頻繁提出臨時的查詢需求，這些都給大數(shù)據(jù)團隊帶來挑戰(zhàn)。因此公司需要真正的交互式大數(shù)據(jù)查詢及報表分析功能，讓業(yè)務(wù)人員和管理人員能夠時刻受益于大數(shù)據(jù)的潛在價值。通過采用Amazon Glue和Amazon Athena，啟元世界可以在控制臺上快速使用SQL查詢數(shù)據(jù)；Amazon QuickSight可以幫助啟元世界快速構(gòu)建數(shù)據(jù)報表，或根據(jù)自己的需求完成數(shù)據(jù)查詢。秒級響應(yīng)各種數(shù)據(jù)查詢及分析請求，數(shù)據(jù)報表生成加快一倍。

關(guān)于啟元世界

啟元世界成立于2017年8月，是一家領(lǐng)先的人工智能平臺公司，將先進的人工智能技術(shù)應(yīng)用于智能決策和數(shù)字娛樂領(lǐng)域。公司擁有深度學(xué)習(xí)、強化學(xué)習(xí)、云計算等領(lǐng)域自主研發(fā)的核心技術(shù)、產(chǎn)品，積累了豐富的行業(yè)應(yīng)用經(jīng)驗，為公共科技、數(shù)字娛樂、電力能源、交通物流等行業(yè)提供基于平臺產(chǎn)品的人工智能解決方案。目前，啟元世界已與數(shù)十家行業(yè)知名客戶和機構(gòu)建立合作關(guān)系。