10月20日,2021杭州云棲大會上,阿里云宣布云原生數(shù)據(jù)倉庫AnalyticDB推出云原生+離在線一體化重大技術架構升級。AnalyticDB云原生架構基于云基礎設施提供的資源池化和彈性存儲能力,結(jié)合傳統(tǒng)MPP數(shù)據(jù)庫架構、離在線一體化技術以及Serverless技術創(chuàng)新,實現(xiàn)了存儲計算分離、分層存儲、秒級擴縮容以及多實例數(shù)據(jù)實時共享等諸多新特性,最高可降低10倍存儲成本,大幅提升了計算和寫入性能,讓數(shù)據(jù)分析更實時、簡單、高效。
AnalyticDB云原生架構版具有3大核心亮點:
1、 秒級擴縮容和按需付費:AnalyticDB采用對象存儲OSS作為持久化數(shù)據(jù)存儲,采用分布式跨可用區(qū)的分布式事務引擎保存元數(shù)據(jù),計算節(jié)點完全無狀態(tài)化,存儲和計算按需付費。實現(xiàn)秒級擴縮容能力,解決傳統(tǒng)架構擴縮容過程中時間長、業(yè)務中斷、存儲計算耦合不靈活等痛點。
2、 離在線一體化:采用高效的向量化以及Codegen技術,通過基于SIMD的向量化執(zhí)行優(yōu)化,在標準的TPC-DS測試集上帶來5倍以上的性能提升;針對在線、離線混合負載場景,引入算子級時間片公平調(diào)度技術,實際壓測中在線查詢的RT最高可降低20倍;實現(xiàn)一個SQL引擎支持高并發(fā)交互式分析、實時更新以及高吞吐ETL處理。
3、 滿足事務一致性的高吞吐寫和高性能讀:AnalyticDB可支撐海量數(shù)據(jù)的高并發(fā)、高吞吐率寫入,實現(xiàn)每秒百萬行實時寫入和更新。此外,還為用戶提供了高性能讀能力(接近本地盤)、以及低成本(可比擬對象存儲)。讀寫均能滿足事務ACID特性,寫入數(shù)據(jù)實時可見。
隨著數(shù)據(jù)規(guī)模爆炸性增長,數(shù)據(jù)處理技術也面臨數(shù)據(jù)一致性和實時性、非結(jié)構化與結(jié)構化數(shù)據(jù)融合等新挑戰(zhàn)。本次發(fā)布的云原生數(shù)據(jù)倉庫AnalyticDB「云原生+離在線一體化」技術架構升級版,可大幅降低用戶使用成本、為業(yè)務創(chuàng)新提速,讓企業(yè)數(shù)據(jù)分析實時化、數(shù)據(jù)價值在線化。
目前,阿里云AnalyticDB已幫助制造業(yè)、金融、交通及政務等多個行業(yè)的數(shù)千家企業(yè)客戶構建云原生數(shù)據(jù)倉庫,滿足企業(yè)快速增長、日趨復雜多變的數(shù)據(jù)分析需求,其中包括國稅總局、中國南方航空、中國郵政、江門農(nóng)商銀行等,服務了眾多事關國計民生的社會基礎服務。