6月,騰訊云數(shù)據(jù)庫TDSQL PG版Oracle兼容能力以及TDSQL-A兩大引擎全新升級,Oracle兼容性和海量數(shù)據(jù)查詢分析能力再上新臺階,并將在公有云全面開放。
TDSQL是騰訊云企業(yè)級分布式數(shù)據(jù)庫,旗下涵蓋金融級分布式、云原生、分析型等多引擎融合的完整數(shù)據(jù)庫產(chǎn)品體系,提供業(yè)界領先的金融級高可用、計算存儲分離、數(shù)據(jù)倉庫、企業(yè)級安全等能力。
升級后的TDSQL PG版Oracle兼容能力將進一步降低用戶遷移改造成本,全面支持存儲過程、Package管理等高級特性,同時支持分布式和集中式兩種架構,用戶可以根據(jù)業(yè)務需要從集中式無縫升級至分布式。
海量數(shù)據(jù)分析能力也迎來了全面升級,TDSQL分布式分析型引擎TDSQL-A自研列存儲引入延遲讀取、過濾下推、自適應行列轉(zhuǎn)換等能力,支持更加豐富的使用場景。自研向量化引擎與并行執(zhí)行框架的深入優(yōu)化,帶來通用場景下查詢性能10倍以上提升。
Oracle兼容性大幅提升,
多項高級能力發(fā)布
TDSQL PG版集高并發(fā)、高性能分析、高SQL兼容度、高擴展性、高可用性、以及企業(yè)安全審計等多項能力于一身。產(chǎn)品全面兼容PostgreSQL,高度兼容Oracle語法,采用無共享架構,支持海量數(shù)據(jù)高并發(fā)實時在線交易和完整的事務分布式ACID能力,支持海量數(shù)據(jù)多維統(tǒng)計分析,為用戶提供容災、備份、恢復、監(jiān)控、安全、審計等全套解決方案。
在國產(chǎn)化浪潮下,去IOE已經(jīng)逐步在政務、金融等垂直的行業(yè)場景落地,快速完成“去O”要求國產(chǎn)數(shù)據(jù)庫對Oracle語法具備極高的兼容能力,并能做到高可用、強一致。TDSQL PG版的Oracle兼容能力面向去O場景持續(xù)投入,滿足金融核心上線要求,在保險和運營商行業(yè)Oracle兼容度高達98%以上,可以幫助政企在極短時間內(nèi),幾乎零成本改造的情況下實現(xiàn)國產(chǎn)化。同時具備集中式、分布式多種部署模式,實現(xiàn)數(shù)據(jù)庫平滑遷移替換。
升級后的TDSQL PG版的Oracle兼容能力在支持全部數(shù)據(jù)類型、轉(zhuǎn)換函數(shù)、connect By/merge Into/pivot/unpivot等語法的基礎上,新增了數(shù)十種企業(yè)級Oracle兼容特性,包含數(shù)據(jù)類型、內(nèi)建函數(shù)、字符集、系統(tǒng)視圖、系統(tǒng)內(nèi)置包、分區(qū)表、SQL語法、hint、同義詞、存儲過程、PLSQL等,進一步滿足不同行業(yè)企業(yè)用戶需求的同時大幅提升管控能力,打造了完整透明的運維工具體系,提供全局session、鎖分析、快速擴容工具等幫助企業(yè)高效管理數(shù)據(jù)。同時還支持了分布式全局索引能力,讓客戶使用和遷移更平滑順暢。
目前TDSQL PG版已在云上全面開放服務,支持分布式和集中式兩種產(chǎn)品形態(tài)。除了在私有云場景中服務于銀行、保險、政務等行業(yè)客戶,企業(yè)亦可在公有云體驗Oracle兼容性評估、數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)一致性比對、業(yè)務交割等服務,同時TDSQL PG版也支持云上與云下的平滑遷移。
圖:騰訊云數(shù)據(jù)庫TDSQL PG版的Oracle部分兼容能力示意
海量數(shù)據(jù)分析性能
實現(xiàn)10倍增強
隨著信息技術的發(fā)展和企業(yè)數(shù)字化轉(zhuǎn)型進程的加速,企業(yè)要面對爆發(fā)式的數(shù)據(jù)量以及更復雜的處理需求,而傳統(tǒng)的分析型數(shù)據(jù)庫存在成本和處理能力的限制,如何做到低成本實時處理海量復雜數(shù)據(jù)成為了很多企業(yè)的迫切需求。2021年5月,TDSQL分布式分析型引擎TDSQL-A正式發(fā)布,適應海量OLAP關聯(lián)分析查詢場景。
TDSQL-A,是騰訊云自主研發(fā)的分布式分析型引擎,該產(chǎn)品采用無共享架構,具有自研高壓縮比列式存儲引擎和高性能的新一代向量化執(zhí)行引擎,支持行列混合存儲,提供高效的海量數(shù)據(jù)存儲和在線分析處理能力,適用于GB~PB級的海量OLAP場景。TDSQL-A同樣支持完整的分布式事務ACID能力,全面兼容PostgreSQL,具備多級容災以及高安全能力。
經(jīng)過1年時間的持續(xù)打磨,分析型引擎迎來了全新升級,自研列存儲引入延遲讀取、過濾下推、自適應行列轉(zhuǎn)換等多項性能優(yōu)化,原生支持向量化掃描。優(yōu)化后的通用場景壓縮比在5~10倍以上。而自研向量化引擎的全面產(chǎn)品化給產(chǎn)品換了一顆性能更強勁的“心臟”,結合并行執(zhí)行框架和SIMD的細致打磨,完全釋放了MPP查詢性能的潛力。通用場景下查詢性能可提升10倍以上。
圖:騰訊云數(shù)據(jù)庫TDSQL-A架構圖
經(jīng)過多年發(fā)展,TDSQL系列產(chǎn)品積累了豐富的處理海量復雜數(shù)據(jù)的HTAP混合負載處理能力,廣泛支撐了騰訊內(nèi)部微信支付、騰訊音樂、騰訊地圖、廣告等業(yè)務。近年來騰訊云數(shù)據(jù)庫TDSQL將積累的經(jīng)驗向社會開放,在政務行業(yè),支撐了數(shù)字廣東、多省市健康碼、國家稅務總局、國家統(tǒng)計局、深圳稅務、多個智慧城市等政務民生業(yè)務。其中,在第七次全國人口普查項目中,支持了十億級用戶數(shù)據(jù)、海量數(shù)據(jù)高并發(fā)處理以及海量超級大表關聯(lián)高并發(fā)統(tǒng)計查詢的場景要求。在金融行業(yè),廣泛投產(chǎn)應用于興業(yè)銀行、太平洋保險、陽光保險、國信證券、深圳稅務等多家大型金融機構國產(chǎn)化替換場景,助力行業(yè)更加高效、低成本推進數(shù)字化進程。