TDSQL演進(jìn)與突破：把企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)做到極致

數(shù)據(jù)庫(kù)是舊市場(chǎng)，也是新市場(chǎng)，是一個(gè)既成熟又有新機(jī)遇的戰(zhàn)場(chǎng)。

舉些例子：

·第七次全國(guó)人口普查：750萬(wàn)終端、十億級(jí)數(shù)據(jù)，實(shí)時(shí)入庫(kù)、實(shí)時(shí)統(tǒng)計(jì)、實(shí)時(shí)分析，這是對(duì)系統(tǒng)極致彈性、大并發(fā)計(jì)算以及連續(xù)穩(wěn)定的挑戰(zhàn)。

·健康碼：覆蓋全國(guó)10億人口以上，上線3個(gè)月即累計(jì)亮碼200億次，考驗(yàn)的是系統(tǒng)對(duì)極速流量突增場(chǎng)景的應(yīng)對(duì)。

·平安銀行信用卡新一代核心系統(tǒng)上線，是行業(yè)首例銀行核心系統(tǒng)數(shù)據(jù)庫(kù)從傳統(tǒng)集中式大型機(jī)下移至國(guó)產(chǎn)分布式架構(gòu)的案例，打破數(shù)十年國(guó)外商業(yè)數(shù)據(jù)庫(kù)的壟斷。

這些場(chǎng)景，對(duì)傳統(tǒng)集中式數(shù)據(jù)庫(kù)提出了極大地挑戰(zhàn)。當(dāng)傳統(tǒng)技術(shù)架構(gòu)逐漸難以滿足產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代的需求，轉(zhuǎn)型升級(jí)是必然的趨勢(shì)選擇。

云計(jì)算技術(shù)作為當(dāng)前企業(yè)IT架構(gòu)的不二之選，已走過探索實(shí)踐階段，迎來了多樣化、規(guī)?；陌l(fā)展時(shí)期。同時(shí)，隨著國(guó)家對(duì)數(shù)據(jù)庫(kù)等基礎(chǔ)技術(shù)設(shè)施安全主可控要求越來越明確，國(guó)產(chǎn)化替換成為國(guó)家戰(zhàn)略。在技術(shù)升級(jí)和國(guó)產(chǎn)替代雙重驅(qū)動(dòng)下，國(guó)產(chǎn)數(shù)據(jù)庫(kù)獲得了前所未有的歷史新機(jī)遇。

面對(duì)歷史新機(jī)遇，基礎(chǔ)技術(shù)創(chuàng)新要如何為產(chǎn)業(yè)帶來新的能力驅(qū)動(dòng)，在2021騰訊數(shù)字生態(tài)大會(huì)上，騰訊云數(shù)據(jù)庫(kù)技術(shù)負(fù)責(zé)人潘安群，圍繞“將企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)做到極致”的主題，分享了騰訊云數(shù)據(jù)庫(kù)TDSQL的一些工作和思考。

云時(shí)代數(shù)據(jù)庫(kù)技術(shù)趨勢(shì)

首先隨著云計(jì)算的發(fā)展，整個(gè)IT基礎(chǔ)技術(shù)發(fā)生了翻天覆地的變化：

1.IT設(shè)施從零散走向集中化、規(guī)?；＿^去，每一個(gè)企業(yè)自建各自的數(shù)據(jù)中心等IT基礎(chǔ)設(shè)施，包括服務(wù)器、網(wǎng)絡(luò)到操作系統(tǒng)、數(shù)據(jù)庫(kù)等，形成企業(yè)市場(chǎng)上零散化的IT設(shè)施模式。而今天基于云計(jì)算服務(wù)，企業(yè)IT設(shè)施呈現(xiàn)集中化、規(guī)模化效應(yīng)，對(duì)效率、性能、成本的要求提升。

2.交付方式從軟件交付走向服務(wù)交付。過去購(gòu)買商業(yè)化軟件，或者是使用開源軟件產(chǎn)品，基本是通過商業(yè)化或開源的方式進(jìn)行分發(fā)，而現(xiàn)在完全變成一個(gè)個(gè)服務(wù)的形式進(jìn)行交付。這帶來的變化是，用戶不需要再盤算該購(gòu)買幾臺(tái)服務(wù)器，而是在具有數(shù)據(jù)庫(kù)使用需求時(shí)，直接云上使用即可，企業(yè)IT人員不再需要自己去維護(hù)這些數(shù)據(jù)庫(kù)軟件。

3.開發(fā)方式從底層（IaaS+PaaS）走向上層（SaaS）。即呈現(xiàn)從過去業(yè)務(wù)進(jìn)行非常底層的開發(fā)以及調(diào)用底層API等操作的模式，轉(zhuǎn)向SaaS化、Serverless模式的服務(wù)。在云上，開發(fā)者可以使用各種各樣的SaaS服務(wù)。無論從效率、基礎(chǔ)技術(shù)能力等方面來說，這都是一個(gè)巨大的變化。

4.數(shù)據(jù)形式及應(yīng)用場(chǎng)景從單一化走向多樣化。過去傳統(tǒng)行業(yè)，比如金融行業(yè)，最核心是記賬、結(jié)算，業(yè)務(wù)形式比較簡(jiǎn)單，但現(xiàn)在金融行業(yè)所面臨的是要做互聯(lián)網(wǎng)化、數(shù)字化的全面升級(jí)，包括各行各業(yè)都在做數(shù)字化升級(jí)，數(shù)據(jù)形式已經(jīng)不再是過去傳統(tǒng)數(shù)據(jù)庫(kù)那樣簡(jiǎn)單的模式，而是數(shù)據(jù)形態(tài)、訪問模式等會(huì)越來越多樣化。

基于這樣的變化，我們認(rèn)為未來的數(shù)據(jù)庫(kù)應(yīng)該是：?jiǎn)我鏄O致化，加多引擎自治融合的DBaaS服務(wù)。那么具體表現(xiàn)為：

單一引擎極致化。垂直場(chǎng)景在云上的規(guī)?；沟梦覀儽仨殞我孀龅綐O致，才能進(jìn)一步放大規(guī)模效應(yīng)。

多引擎統(tǒng)一智能融合。而業(yè)務(wù)形態(tài)的多樣化，單一數(shù)據(jù)庫(kù)包打天下的時(shí)代已經(jīng)過去，多引擎化成為必然趨勢(shì)。當(dāng)然我們不希望讓用戶陷入選擇，我們希望對(duì)客戶來說，多即是一。如何做到多即是一，如何做到在超大規(guī)模數(shù)據(jù)庫(kù)集群的一體化，智能化是決定這場(chǎng)變革成敗的關(guān)鍵因素。

DBaaS交付?；诙嘁嬷悄苋诤希龅椒?wù)即交付，即交付給客戶的是一套完整數(shù)據(jù)庫(kù)服務(wù)，而不是一堆軟件。這是我們?cè)谄髽I(yè)級(jí)市場(chǎng)的理念。在以上理念下，今年TDSQL產(chǎn)品多個(gè)引擎持續(xù)實(shí)現(xiàn)了相應(yīng)的突破。

產(chǎn)品演進(jìn)的驅(qū)動(dòng)力

“國(guó)產(chǎn)化+數(shù)據(jù)爆發(fā)+復(fù)雜度提升”是數(shù)據(jù)庫(kù)行業(yè)底層驅(qū)動(dòng)力。隨著金融政企技術(shù)系統(tǒng)對(duì)國(guó)產(chǎn)化、數(shù)字化改造升級(jí)的需求加速，國(guó)產(chǎn)企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)單引擎極致能力主要受到金融級(jí)核心系統(tǒng)應(yīng)用能力、快速平穩(wěn)“去O”、新形互聯(lián)網(wǎng)業(yè)務(wù)轉(zhuǎn)型等需求和挑戰(zhàn)驅(qū)動(dòng)，實(shí)現(xiàn)技術(shù)突破。

首先，總結(jié)而言，數(shù)字化時(shí)代金融、政務(wù)、互聯(lián)網(wǎng)、電商等企業(yè)對(duì)分布式數(shù)據(jù)庫(kù)的應(yīng)用需求體現(xiàn)在以下4個(gè)方面：

1.支持穩(wěn)態(tài)業(yè)務(wù)的核心應(yīng)用能力需求持續(xù)增強(qiáng)：表現(xiàn)為需要數(shù)據(jù)庫(kù)系統(tǒng)在高可用、強(qiáng)一致、穩(wěn)定可靠的基礎(chǔ)上，同時(shí)實(shí)現(xiàn)高性能、高可擴(kuò)展，滿足業(yè)務(wù)穩(wěn)定、快速發(fā)展過程中對(duì)基礎(chǔ)技術(shù)要求。與此同時(shí)，核心應(yīng)用關(guān)系企業(yè)系統(tǒng)最核心的交易，改造起來時(shí)間長(zhǎng)、投入大，對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的技術(shù)以及服務(wù)能力要求進(jìn)一步提高。

2.平穩(wěn)快速“去O”：除了核心應(yīng)用，金融政企系統(tǒng)中還有大量周邊系統(tǒng)或者次核心應(yīng)用，這些核心應(yīng)用往往有幾百上千套系統(tǒng)，由于歷史原因需要短期之內(nèi)快速“去O”，并基于國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)快速上線，如第一個(gè)月上線10個(gè)系統(tǒng)、第二個(gè)月上線20個(gè)系統(tǒng)……快速完成“去O”的場(chǎng)景需求，要求國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品對(duì)Oracle兼容具備極高的兼容能力，并能做到高可用、強(qiáng)一致。

3.自動(dòng)彈性擴(kuò)縮容、應(yīng)對(duì)敏態(tài)業(yè)務(wù)需求加大：業(yè)務(wù)在進(jìn)行數(shù)字化轉(zhuǎn)型過程中，場(chǎng)景化、線上化是大勢(shì)所趨，這意味著技術(shù)系統(tǒng)中的數(shù)據(jù)吞吐量、業(yè)務(wù)形態(tài)、數(shù)據(jù)訪問和計(jì)算管控等也將隨之發(fā)生巨大變化，變得更加敏捷、多樣化，即面臨更多的不可預(yù)知性，對(duì)底層技術(shù)系統(tǒng)在靈活性與擴(kuò)展性方面提出全新的要求。

4.海量數(shù)據(jù)復(fù)雜分析場(chǎng)景需求加大：在數(shù)字化業(yè)務(wù)的融合升級(jí)中，數(shù)據(jù)處理的規(guī)模大幅增長(zhǎng)，對(duì)處理的實(shí)時(shí)性和效率有更高要求，因此亟需實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的復(fù)雜分析、實(shí)時(shí)計(jì)算處理能力。

產(chǎn)品核心能力演進(jìn)和突破

針對(duì)上述場(chǎng)景需求和挑戰(zhàn)，TDSQL從不同應(yīng)用場(chǎng)景匹配不同引擎，為客戶提供融合統(tǒng)一的產(chǎn)品服務(wù)，以及從前端管理到底層統(tǒng)一的智能管控體系。

1.金融級(jí)核心交易OLTP引擎

金融級(jí)分布式OLTP引擎是TDSQL主打特性體現(xiàn)在強(qiáng)一致、高可用、分布式事務(wù)、兼容性等方面，可實(shí)現(xiàn)“兩地三中心、多地多中心”高可用靈活部署架構(gòu)的產(chǎn)品引擎，它在跨數(shù)據(jù)中心強(qiáng)同步復(fù)制機(jī)制下可實(shí)現(xiàn)“RTO<30S、RPO=0”，同時(shí)在高性能基礎(chǔ)上保持全局一致性。本次引擎全新升級(jí)，將為用戶帶來全局索引、視圖、執(zhí)行計(jì)劃綁定、計(jì)算下推等能力升級(jí)，實(shí)現(xiàn)系統(tǒng)性能提升50%。

金融級(jí)OLTP引擎是當(dāng)前大部分TDSQL銀行核心系統(tǒng)用戶所采用的引擎，具備產(chǎn)品成熟度高、分布式事務(wù)能力級(jí)別達(dá)到行業(yè)最高等特性。在互聯(lián)網(wǎng)銀行、區(qū)域性銀行以及股份制銀行、國(guó)有大行等領(lǐng)域都有成功案例。

2.TDSQL金融級(jí)HTAP引擎(Oracle兼容)

本次大會(huì)，我們也面向行業(yè)全新發(fā)布TDSQL金融級(jí)HTAP引擎（Oracle兼容版）。這款引擎在保險(xiǎn)、運(yùn)營(yíng)商等行業(yè)兼容度高達(dá)98%以上，同時(shí)在數(shù)據(jù)的一致性、高可用方面也完全滿足金融行業(yè)的要求，可以幫助金融機(jī)構(gòu)在極短時(shí)間內(nèi)，幾乎零成本改造的情況下，實(shí)現(xiàn)國(guó)產(chǎn)化。

3.TDSQL全自研新敏態(tài)引擎

這也是本次TDSQL帶來的全新重磅發(fā)布。TDSQL新敏態(tài)引擎100%兼容MySQL，計(jì)算/存儲(chǔ)資源均可獨(dú)立全透明彈性擴(kuò)縮容，實(shí)現(xiàn)了PB級(jí)存儲(chǔ)的Online DDL；計(jì)算層每個(gè)節(jié)點(diǎn)均可讀寫，輕松支撐千萬(wàn)級(jí)QPS流量，可以有效應(yīng)對(duì)業(yè)務(wù)的變化。針對(duì)海量數(shù)據(jù)存儲(chǔ)的場(chǎng)景，實(shí)現(xiàn)最高最高20倍壓縮率的超高壓縮比存儲(chǔ)能力，大幅節(jié)省資源成本。

更關(guān)鍵的是，其獨(dú)有的數(shù)據(jù)形態(tài)自動(dòng)感知特性，可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)全域智能化自適應(yīng)調(diào)度，能夠根據(jù)業(yè)務(wù)負(fù)載情況自動(dòng)遷移，打散熱點(diǎn)，降低分布式事務(wù)比例，獲得極致的擴(kuò)展性和性能。

與此同時(shí)，TDSQL新敏態(tài)引擎具有對(duì)分布式事務(wù)完整支持的特性，支撐了上層計(jì)算引擎多主讀寫架構(gòu)的實(shí)現(xiàn)，并與計(jì)算引擎結(jié)合實(shí)現(xiàn)了計(jì)算下推、分布式事務(wù)一階段優(yōu)化等多緯度優(yōu)化，進(jìn)一步實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)系統(tǒng)性能極致提升，有效適配企業(yè)新敏態(tài)業(yè)務(wù)需求。

在騰訊內(nèi)部業(yè)務(wù)實(shí)踐中，TDSQL新敏態(tài)引擎可支撐業(yè)務(wù)在保持高性能且連續(xù)服務(wù)的基礎(chǔ)上，一個(gè)月內(nèi)完成了高達(dá)1000次表結(jié)構(gòu)在線變更。

4.TDSQL-A分析型引擎

今年5月份我們發(fā)布了分析引擎TDSQL-A，今天將迎來再次的全面升級(jí)。我們?cè)诩軜?gòu)上實(shí)現(xiàn)了計(jì)算與轉(zhuǎn)發(fā)雙平面的基礎(chǔ)上，全新自研了列式存儲(chǔ)引擎，搭配全新的智能執(zhí)行引擎，向量化執(zhí)行性能有10倍以上的提升，同時(shí)憑借業(yè)界獨(dú)有的分布式延遲物化技術(shù)，大幅優(yōu)化了分布式場(chǎng)景下關(guān)聯(lián)查詢的計(jì)算效率，可以幫助客戶進(jìn)一步挖掘數(shù)據(jù)價(jià)值。

5.智能統(tǒng)一管控

騰訊云數(shù)據(jù)庫(kù)智能統(tǒng)一管控平臺(tái)，可讓數(shù)據(jù)在不同引擎之間自由流動(dòng)，更好地支持業(yè)務(wù)快速發(fā)展。具體包括：

（1）以超過769個(gè)接口能力，支持系統(tǒng)實(shí)現(xiàn)不同應(yīng)用場(chǎng)景靈活調(diào)用、一鍵運(yùn)營(yíng)；

（2）實(shí)現(xiàn)90%常見故障秒級(jí)診斷及SQL優(yōu)化建說議的智能運(yùn)維體系，大幅降低系統(tǒng)運(yùn)維復(fù)雜度；

（3）基于多源同步工具，實(shí)現(xiàn)多引擎數(shù)據(jù)秒級(jí)同步，對(duì)業(yè)務(wù)屏蔽引擎差異；

（4）實(shí)現(xiàn)插件式負(fù)載均衡管理，進(jìn)一步提升可用性。目前支持F5、LVS、TGW、VPCGW等多種……

TDSQL應(yīng)用場(chǎng)景突破

目前，TDSQL已服務(wù)近半國(guó)內(nèi)TOP20銀行，TOP10銀行中服務(wù)比例也高達(dá)60%。同時(shí)，TDSQL在不同金融機(jī)構(gòu)核心系統(tǒng)中的滲透率明顯提升，如金融核心系統(tǒng)客戶超過20家，率先實(shí)現(xiàn)行業(yè)突破，包括平安銀行、張家港農(nóng)商行、昆山農(nóng)商行等銀行、保險(xiǎn)、券商機(jī)構(gòu)。

而在電信運(yùn)營(yíng)商等行業(yè)場(chǎng)景，騰訊云數(shù)據(jù)庫(kù)TDSQL也實(shí)現(xiàn)了率先突破，如在2021年中標(biāo)某省移動(dòng)核心系統(tǒng)從傳統(tǒng)集中式大型機(jī)系列下移至國(guó)產(chǎn)數(shù)據(jù)庫(kù)項(xiàng)目，是行業(yè)首家運(yùn)營(yíng)商核心系統(tǒng)數(shù)據(jù)庫(kù)分布式國(guó)產(chǎn)化改造項(xiàng)目。

無論是在銀行還是保險(xiǎn)、政務(wù)等行業(yè)，TDSQL在關(guān)鍵領(lǐng)域的標(biāo)桿頭部客戶已具有豐富的成功案例實(shí)踐。

基于大量大規(guī)模銀行核心系統(tǒng)應(yīng)用實(shí)踐，TDSQL一路走來經(jīng)歷了最嚴(yán)苛的考驗(yàn)。我們認(rèn)為，國(guó)產(chǎn)數(shù)據(jù)庫(kù)即將進(jìn)入規(guī)?；碾A段，我們希望未來五年能夠?yàn)?000家金融機(jī)構(gòu)實(shí)現(xiàn)核心系統(tǒng)數(shù)據(jù)庫(kù)國(guó)產(chǎn)化改造升級(jí)，也希望廣大合作伙伴與我們一同實(shí)現(xiàn)這個(gè)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的長(zhǎng)期事業(yè)。