TDSQL inside之路

“力爭讓每一張錢都能打上TDSQLinside的標(biāo)簽”，距離潘安群在自己的朋友圈立下的這個(gè)flag，已經(jīng)6年。

8月26日，在看到相關(guān)新聞之后，激動(dòng)之余的老潘在朋友圈這樣寫道：

“2016年第一次去人行立下的flag，今年要實(shí)現(xiàn)了”，并且附上了6年前的朋友圈截圖，下面是眾多同事和領(lǐng)導(dǎo)的感嘆和祝福。

我們素人無法理解一個(gè)技術(shù)老兵對(duì)于TDSQL的溺愛，就像我們無法理解年輕人對(duì)于愛情有多么渴望。

這一天，距離老潘等第一次去現(xiàn)場技術(shù)交流，已經(jīng)過去整整2190天。

硬著頭皮也要往前沖

“我們要做就要做一款無愧于這個(gè)時(shí)代的產(chǎn)品”，這個(gè)不是一句空話，談到為什么要做TDSQL，老潘的眼里甚至在發(fā)光，從這款14年前誕生在騰訊內(nèi)部的數(shù)據(jù)庫產(chǎn)品，到如今在全球軟件舞臺(tái)大放異彩的軟件產(chǎn)品，常人根本無法想象，背后付出多少艱辛。

“他不像一座摩天大樓，普通人可以看到他與日俱增然后拔地而起。一款軟件從寫出第一行代碼，到被億萬用戶喜歡，甚至根植于普通人的每一天，肉眼根本看不到。”

但這并不妨礙他的偉大。

“我們每天都在不斷的寫代碼，改bug，做測試，搞迭代，新版本上線，已經(jīng)不記得有多少個(gè)日日月月了，雖然真的挺辛苦，但心里對(duì)TDSQL是真愛，我們就是要有這股不服輸?shù)膭??！?/p>

數(shù)據(jù)庫到底有多難搞？

當(dāng)我在知乎上敲出這個(gè)疑問的瞬間，一個(gè)標(biāo)題為”中國跨過數(shù)據(jù)庫這座大山了嗎？“的高贊帖子吸引了我的關(guān)注。

從1978年，薩師煊老師在黑板上寫下“數(shù)據(jù)庫”三個(gè)字，數(shù)據(jù)庫理論正式進(jìn)入中國，到如今，國產(chǎn)數(shù)據(jù)庫整整走了43年，但是反觀國內(nèi)，依然是老牌國外廠商的天下。

一個(gè)網(wǎng)友的問答直戳人心：

數(shù)據(jù)庫中儲(chǔ)存著大量的關(guān)鍵數(shù)據(jù)，而數(shù)據(jù)就意味著信息，信息就意味著情報(bào)，情報(bào)就意味著價(jià)值。在數(shù)據(jù)分析和處理技術(shù)越來越成熟之后，大量的數(shù)據(jù)背后能推測出來的信息量超乎想象。

一條簡單數(shù)據(jù)的增刪改查，背后是一套嚴(yán)密的計(jì)算機(jī)執(zhí)行邏輯，涉及無數(shù)個(gè)計(jì)算機(jī)程序。

而這只是1條數(shù)據(jù)，那么100條，10000條，甚至一億條呢，如今，我們隨隨便便一個(gè)簡單的客戶系統(tǒng)，動(dòng)輒就是百億級(jí)的數(shù)據(jù)量，那么背后的數(shù)據(jù)庫復(fù)雜難度可想而知。

從這個(gè)角度看，數(shù)據(jù)庫被稱為國內(nèi)軟件領(lǐng)域的一座大山的原因不言自明。

正因如此，數(shù)據(jù)庫被國人列為繼操作系統(tǒng)、中間件之后的第三大基礎(chǔ)軟件。

但就是這樣一款關(guān)系國計(jì)民生的一款軟件，長期被國外廠商占據(jù)領(lǐng)導(dǎo)地位，要想從傳統(tǒng)的老牌數(shù)據(jù)庫廠商分一杯羹，堪稱虎口拔牙。

但是，拋棄純粹的商業(yè)吹捧之外，國內(nèi)數(shù)據(jù)庫這幾年的進(jìn)步也有目共睹，尤其是在云數(shù)據(jù)庫這塊，以TDSQL為代表的國產(chǎn)數(shù)據(jù)庫一路高歌猛進(jìn)。

TDSQL自誕生起，身上就有一種“臨危受命”的使命感。

“在2007年之前，騰訊還在完全使用以MySQL數(shù)據(jù)庫為主的開源數(shù)據(jù)庫，一些海量的數(shù)據(jù)分析和財(cái)務(wù)部分也還跑在Oracle數(shù)據(jù)庫上?！彬v訊云數(shù)據(jù)庫專家工程師雷海林回憶。

然而，騰訊壯大的速度遠(yuǎn)遠(yuǎn)超過了開源數(shù)據(jù)庫的承受能力。

“增長太快了，當(dāng)時(shí)每天早上我們看報(bào)表，發(fā)現(xiàn)報(bào)表時(shí)間到了，數(shù)據(jù)卻沒有跑出來，那就是已經(jīng)挑戰(zhàn)了集中式數(shù)據(jù)庫的系統(tǒng)極限?！彬v訊云副總裁，騰訊計(jì)費(fèi)平臺(tái)部總經(jīng)理李綱說。

中間為騰訊云副總裁，騰訊計(jì)費(fèi)平臺(tái)部總經(jīng)理李綱

“2006年，QQ用戶量增長速度創(chuàng)造了歷史記錄，QQ同時(shí)在線人數(shù)逼近2000萬，開源的數(shù)據(jù)庫沒見過這么大的陣仗，市面上的開源數(shù)據(jù)庫和傳統(tǒng)商業(yè)數(shù)據(jù)庫沒有一家能夠支撐騰訊龐大的流量需求?！?/p>

怎么辦，只能自己搞。

就這樣，李綱拉了潘安群、雷海林等幾個(gè)人立即開干。

但是要做就要做一款用的爽，高可用的數(shù)據(jù)庫，7*24小時(shí)高可用、數(shù)據(jù)一筆不差、金額一分不差成為這個(gè)團(tuán)隊(duì)對(duì)自己的要求。

理想很豐滿，現(xiàn)實(shí)很骨感。

騰訊內(nèi)部的業(yè)務(wù)還好說，雖然體量大，但是好在模式單一，數(shù)量不是那么多，有限的人力還能應(yīng)付過來，但是隨著2010年，騰訊推出“開放戰(zhàn)略”，一大波小廠商蜂擁而至，而且每個(gè)客戶的訴求各式各樣，業(yè)務(wù)場景的不同，需要TDSQL具備服務(wù)多元化客戶的能力。

同時(shí)，因?yàn)樯婕暗接?jì)費(fèi)，和錢有關(guān)的業(yè)務(wù)，對(duì)TDSQL的每一筆操作都要做到零差錯(cuò)，也是需要應(yīng)對(duì)的挑戰(zhàn)。

但是開弓沒有回頭箭，硬著頭皮也要往前沖。

早期核心團(tuán)隊(duì)，前排右三就是潘安群

羽翼漸豐

如果非要梳理出TDSQL從內(nèi)部自研庫蛻變成規(guī)模化商業(yè)產(chǎn)品的發(fā)展歷程，那么以下四個(gè)階段不能不提：

2007-2009年，這個(gè)階段，開源的mysql在面對(duì)騰訊爆發(fā)式增長的業(yè)務(wù)，已經(jīng)越來越捉襟見肘，開始研制服務(wù)于計(jì)費(fèi)、定位于金融場景的分布式數(shù)據(jù)庫TDSQL逐漸提上日程。

2009年-2012年，騰訊進(jìn)入開放時(shí)代，海量業(yè)務(wù)群雄并起，以開心農(nóng)場等為代表的眾多億級(jí)應(yīng)用比比皆是，TDSQL在性能上逐漸突破了性能瓶頸、數(shù)據(jù)可靠性保障、高可用等“不可能三角”的技術(shù)難題。

2012-2014年，云計(jì)算興起，數(shù)據(jù)庫上云、多租戶、標(biāo)準(zhǔn)化成為標(biāo)配。騰訊云數(shù)據(jù)庫的能力逐漸外溢，TDSQL由于優(yōu)異的性能已經(jīng)擁有眾多外部客戶，TDSQL在經(jīng)過公有云海量數(shù)字化、大規(guī)模高并發(fā)業(yè)務(wù)場景的打磨，內(nèi)核級(jí)的深度自研優(yōu)化之后，逐漸形成標(biāo)準(zhǔn)化的國產(chǎn)分布式數(shù)據(jù)庫產(chǎn)品，包括金融級(jí)分布式的TDSQL、計(jì)算與存儲(chǔ)分離的云原生數(shù)據(jù)庫TDSQL-C等產(chǎn)品，獲得了云原生技術(shù)、多租戶隔離能力。

2014-2020年，數(shù)字化升級(jí)成為行業(yè)大勢，TDSQL走向大規(guī)模應(yīng)用階段，包括微眾銀行，TDSQL作為其分布式數(shù)據(jù)庫底座承擔(dān)了核心作用；幫助張家港農(nóng)商銀行上線新一代核心業(yè)務(wù)系統(tǒng)；幫助平安銀行打造信用卡“A+”新核心系統(tǒng)。

伴隨著能力的不斷完善，騰訊云數(shù)據(jù)庫整體能力也正在以前所未有的速度發(fā)展。

2019年，Gartner的報(bào)告稱，騰訊云數(shù)據(jù)庫市場份額增速達(dá)123%，位居國內(nèi)所有廠商之首，并在全球范圍內(nèi)保持連續(xù)兩年增速前三。

2020年上半年，Gartner的報(bào)告又顯示，騰訊云數(shù)據(jù)庫的全球市場份額排名已經(jīng)提升至前六。

“對(duì)于入榜Gartner，標(biāo)志著騰訊云數(shù)據(jù)庫正式進(jìn)入世界頂級(jí)數(shù)據(jù)庫的行列，同時(shí)也是國產(chǎn)數(shù)據(jù)庫發(fā)展史上的一個(gè)重要里程碑?！崩罹V強(qiáng)調(diào)。

TDSQL inside之路

回到2014年，這一年對(duì)于TDSQL有著特殊的意義。

這一年，不僅成功支持央視春晚，還成功接下了為微眾銀行提供數(shù)據(jù)庫支持的項(xiàng)目，打出了TDSQL沖擊金融領(lǐng)域的第一槍。

作為國內(nèi)首家互聯(lián)網(wǎng)銀行，微眾期待把普惠金融的IT架構(gòu)做好，希望既能夠服務(wù)海量用戶，又可以把每個(gè)用戶的成本控制到很低的范圍內(nèi)的要求。

但是第一次面對(duì)客戶，在騰訊內(nèi)部舒適區(qū)待久了的TDSQL顯然對(duì)突如其來的客戶挑戰(zhàn)沒有準(zhǔn)備。

“給客戶做數(shù)據(jù)庫的時(shí)候，很多也是未知的領(lǐng)域，做的不好的話，不是在自己家改一改就好了，人家真的會(huì)罵你。”潘安群說。

就像初次見面的年輕男女，“你知道我的不懷好意，我知道你的故作矜持”，彼此還是有一定的隔閡，雙方也經(jīng)歷過“微眾覺得TDSQL不懂銀行，TDSQL覺得微眾不懂互聯(lián)網(wǎng)“這個(gè)階段。

但磨合之后，就知道彼此的好。

現(xiàn)如今，微眾銀行基于TDSQL搭建的分布式銀行核心系統(tǒng)可以做到7*24小時(shí)全天候不間斷服務(wù)。已成功服務(wù)超過2.5億客戶，實(shí)現(xiàn)年均日交易3.6億筆，單日交易峰值近6億筆，最高TPS（每秒傳輸?shù)氖挛锾幚韨€(gè)數(shù)）達(dá)到10萬+，也為微粒貸、微業(yè)貸等業(yè)務(wù)的數(shù)百個(gè)核心系統(tǒng)提供了堅(jiān)實(shí)支撐。

說到TDSQL在金融行業(yè)的發(fā)展之路，不能不提張家港農(nóng)商銀行。

這個(gè)項(xiàng)目最大的意義是，這是在國內(nèi)銀行首次在傳統(tǒng)核心業(yè)務(wù)系統(tǒng)場景下，采用國產(chǎn)分布式數(shù)據(jù)庫，打破了該領(lǐng)域?qū)鈹?shù)據(jù)庫的長期依賴，率先響應(yīng)了國家對(duì)金融核心領(lǐng)域技術(shù)自主可控的要求。

而這個(gè)過程也充滿艱辛，在面對(duì)客戶對(duì)分布式數(shù)據(jù)庫相對(duì)于集中式數(shù)據(jù)庫有什么優(yōu)勢，TDSQL到底靠不靠譜的疑問時(shí)，TDSQL數(shù)據(jù)庫專家張文就跑到張家港待了足足一個(gè)多月，讓張家港行掌握了分布式數(shù)據(jù)庫的正確使用方法，并最終贏得了行方的信任。

直至2019年8月，項(xiàng)目行將結(jié)束之時(shí)，張文在朋友圈里記錄了這樣一段文字：

“記得年初第一次來張家港銀行，那時(shí)開發(fā)人員對(duì)分布式數(shù)據(jù)庫根本無從下手，核心系統(tǒng)改造當(dāng)時(shí)看來還是天方夜譚。再看今天，全行核心業(yè)務(wù)跑在分布式架構(gòu)下穩(wěn)如磐石，性能輕松碾壓行業(yè)同類產(chǎn)品，軟硬件綜合成本降低75%?！?/p>

時(shí)間繼續(xù)流淌，TDSQL inside之路還在繼續(xù)：

平安銀行信用卡A+新核心系統(tǒng)國產(chǎn)化，這是業(yè)界第一個(gè)將金融機(jī)構(gòu)核心業(yè)務(wù)系統(tǒng)由國外大型機(jī)集中式架構(gòu)遷移到國產(chǎn)分布式架構(gòu)的成功案例；還有第七次全國人口普查、健康碼等。

隨著越來越多機(jī)構(gòu)選擇TDSQL，一個(gè)個(gè)大單的落地，越來越多國民級(jí)應(yīng)用系統(tǒng)平穩(wěn)運(yùn)行在TDSQL之上，TDSQL給行業(yè)帶來了對(duì)國產(chǎn)數(shù)據(jù)庫的強(qiáng)勁信心。

而來自客戶的聲音更讓人信服和感動(dòng)：“2019年我們選擇TDSQL的時(shí)候，還會(huì)擔(dān)心選擇是不是對(duì)的，今年就完全沒有這個(gè)疑問了，選擇TDSQL，很穩(wěn)?！?/p>

TDSQL inside已經(jīng)不再是一句slogan，而是一個(gè)關(guān)系你我，護(hù)航未來的國之重器。