1917年4月,在《新青年》發(fā)表的《體育之研究》一文,其中論及“體育之效”時(shí)指出:人的身體會(huì)天天變化。目不明可以明,耳不聰可以聰。生而強(qiáng)者如果濫用其強(qiáng),即使是至強(qiáng)者,最終也許會(huì)轉(zhuǎn)為至弱;而弱者如果勤自鍛煉,增益其所不能,久之也會(huì)變而為強(qiáng)。
因此,“生而強(qiáng)者不必自喜也,生而弱者不必自悲也。吾生而弱乎,或者天之誘我以至于強(qiáng),未可知也”。
回顧TDSQL發(fā)展的十七年,從一開(kāi)始的簡(jiǎn)單到如今的全面,從內(nèi)部支撐到推廣商用,TDSQL經(jīng)歷了一場(chǎng)由弱到強(qiáng)、從依賴(lài)到自主的自我歷練。
冰山之下:中國(guó)商用數(shù)據(jù)庫(kù)之痛
如果說(shuō)“缺芯少魂”是國(guó)產(chǎn)操作系統(tǒng)之痛,那中國(guó)商用數(shù)據(jù)庫(kù)之痛就像藏在水面之下的冰山,隱蔽卻關(guān)乎要害。
上個(gè)世紀(jì)八九十年代,中國(guó)經(jīng)濟(jì)的快速發(fā)展迫切需要加強(qiáng)中國(guó)信息技術(shù)的建設(shè)。但在當(dāng)時(shí)人才技術(shù)急缺的窘境下,為了加快建設(shè),中國(guó)企業(yè)更多地是選擇引進(jìn)國(guó)外先進(jìn)的手段來(lái)彌補(bǔ)國(guó)產(chǎn)技術(shù)的空白。
在這個(gè)時(shí)期,IBM、Oracle、微軟等企業(yè)紛紛進(jìn)入中國(guó)市場(chǎng),并在激烈競(jìng)爭(zhēng)中奠定了中國(guó)數(shù)據(jù)庫(kù)行業(yè)的格局:金融行業(yè)中以IBM的DB2、Informix為主,電信行業(yè)則被Oracle牢牢把控。
在此后很長(zhǎng)的一段時(shí)間里,中國(guó)企業(yè)必須花費(fèi)巨額費(fèi)用去采購(gòu)這些國(guó)外品牌的設(shè)備及數(shù)據(jù)庫(kù)系統(tǒng)支持?;ㄙM(fèi)高還在其次,企業(yè)命脈掌握在別人手上才是更加緊迫的問(wèn)題。由于當(dāng)時(shí)中國(guó)數(shù)據(jù)庫(kù)領(lǐng)域發(fā)展較為落后,國(guó)內(nèi)并無(wú)技術(shù)成熟的商用數(shù)據(jù)庫(kù)產(chǎn)品,中國(guó)企業(yè)被迫忍受了這種苦痛。
但隨著國(guó)內(nèi)互聯(lián)網(wǎng)的發(fā)展,國(guó)產(chǎn)商用數(shù)據(jù)庫(kù)的發(fā)展迎來(lái)了轉(zhuǎn)機(jī)。
篳路藍(lán)縷:TDSQL十七載研發(fā)路
在當(dāng)時(shí),為了對(duì)抗“卡脖子”的窘境,國(guó)內(nèi)各大技術(shù)企業(yè)掀起了去IOE的浪潮。與此同時(shí),國(guó)內(nèi)互聯(lián)網(wǎng)的快速發(fā)展,讓高并發(fā)、流量突增等線上業(yè)務(wù)場(chǎng)景變得非常頻繁,而傳統(tǒng)的IOE則無(wú)法適應(yīng)這種需求。因此勢(shì)必要用國(guó)產(chǎn)的分布式架構(gòu)的產(chǎn)品來(lái)替換IOE。在這種背景下,騰訊云數(shù)據(jù)庫(kù)TDSQL應(yīng)運(yùn)而生。
TDSQL的研發(fā)最早可以追溯到2004年。當(dāng)時(shí)出于業(yè)務(wù)發(fā)展需要,騰訊內(nèi)部從一開(kāi)始就沒(méi)有Oracle。作為技術(shù)公司,騰訊選擇用技術(shù)解決問(wèn)題?!盀槭裁次覀儾荒茏约涸煲粋€(gè)數(shù)據(jù)庫(kù)呢?”
最初,出于效率的迫切要求,騰訊數(shù)據(jù)庫(kù)團(tuán)隊(duì)針對(duì)業(yè)務(wù)對(duì)高可用、高一致、高性能存儲(chǔ)等功能的迫切需求,結(jié)合CAP原理在應(yīng)用層去解決問(wèn)題。但后來(lái)發(fā)現(xiàn),在應(yīng)用層做工作,解決第一個(gè)系統(tǒng)問(wèn)題時(shí)是快速的,但對(duì)于后續(xù)大規(guī)模應(yīng)用開(kāi)發(fā)時(shí),和業(yè)務(wù)應(yīng)用緊耦合的形式難以將這些數(shù)據(jù)一致性、高可用的解決方案推廣到其他業(yè)務(wù)系統(tǒng)來(lái)應(yīng)用。
對(duì)于這個(gè)問(wèn)題他們沒(méi)有選擇視而不見(jiàn),而是咬緊牙關(guān)決定從數(shù)據(jù)庫(kù)層面來(lái)開(kāi)發(fā)構(gòu)造。團(tuán)隊(duì)幾個(gè)人就在一個(gè)小黑屋里面閉關(guān),開(kāi)始了瘋狂的代碼構(gòu)建,主攻解決計(jì)費(fèi)等公司級(jí)敏感業(yè)務(wù)高可用、核心數(shù)據(jù)的零流失、核心交易的零錯(cuò)賬等問(wèn)題。就這樣,TDSQL的雛形誕生了。
技術(shù)的迭代往往源自于業(yè)務(wù)場(chǎng)景的驅(qū)動(dòng)。隨著騰訊開(kāi)放平臺(tái)的發(fā)展,TDSQL從支撐自身業(yè)務(wù)到迎來(lái)大量合作伙伴,面臨的行業(yè)場(chǎng)景也越來(lái)越豐富多樣。由于場(chǎng)景的廣泛,問(wèn)題出現(xiàn)了,這款數(shù)據(jù)庫(kù)無(wú)法很快速方便地為合作伙伴提供服務(wù)。
2012年,TDSQL解決了這個(gè)問(wèn)題,也推動(dòng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)再邁出了一個(gè)臺(tái)階。騰訊對(duì)底層數(shù)據(jù)庫(kù)進(jìn)行定制化架構(gòu)重構(gòu),打磨出了更加通用、標(biāo)準(zhǔn)化的數(shù)據(jù)庫(kù)產(chǎn)品,并正式命名為T(mén)DSQL,以解決金融等業(yè)務(wù)系統(tǒng)中高可用、數(shù)據(jù)一致性、水平伸縮等問(wèn)題。從此TDSQL的發(fā)展步入了快車(chē)道。
在這個(gè)過(guò)程中,值得一提的是,2009年,騰訊進(jìn)入開(kāi)放時(shí)代,誕生了開(kāi)心農(nóng)場(chǎng)等代表性產(chǎn)品。當(dāng)時(shí)互聯(lián)網(wǎng)行業(yè)也逐步進(jìn)入全民社交的高速發(fā)展時(shí)代,每秒億級(jí)并發(fā)的場(chǎng)景比比皆是。支撐騰訊計(jì)費(fèi)支付業(yè)務(wù)的騰訊數(shù)據(jù)庫(kù)在7*24小時(shí)高可用、數(shù)據(jù)強(qiáng)一致的基礎(chǔ)上,對(duì)高性能吞吐、分布式水平擴(kuò)展、分布式KV存儲(chǔ)等進(jìn)行了研發(fā)布局,幫助擺脫業(yè)務(wù)系統(tǒng)流量對(duì)服務(wù)器數(shù)量的依賴(lài),以及突破了性能瓶頸、數(shù)據(jù)可靠性保障、高可用等“不可能三角”的技術(shù)難題。
同時(shí),隨著互聯(lián)網(wǎng)數(shù)字化的發(fā)展,當(dāng)時(shí)騰訊公司內(nèi)部部分業(yè)務(wù)對(duì)數(shù)據(jù)庫(kù)不僅僅要求純交易型(OLTP)的能力,還需要比如復(fù)雜的關(guān)聯(lián)查詢(xún)、或者按天匯總等偏分析的場(chǎng)景支持。但是這類(lèi)業(yè)務(wù)又不至于需要采用類(lèi)似Hadoop/MapReduce這種純分析性體系。因此,騰訊云相關(guān)數(shù)據(jù)庫(kù)團(tuán)隊(duì),在2014年開(kāi)始正式探索OLAP型數(shù)據(jù)庫(kù)研發(fā)與應(yīng)用,布局安全可控的分析型數(shù)據(jù)庫(kù)領(lǐng)域。這就是后來(lái)的分析型數(shù)據(jù)庫(kù)TBase——現(xiàn)在的TDSQL-A。
而早期從2010年開(kāi)始,事實(shí)上,云計(jì)算開(kāi)始興起。這里面需要面臨的問(wèn)題就是很多大量的中小業(yè)務(wù)接入,單個(gè)業(yè)務(wù)或賬戶(hù)量并并大,但是業(yè)務(wù)數(shù)量非常多,騰訊內(nèi)部游戲可能動(dòng)輒幾千萬(wàn)的點(diǎn)券賬戶(hù),但是業(yè)務(wù)可能也就幾百款,但是開(kāi)放平臺(tái)上很多都是只有幾十萬(wàn)的賬戶(hù)量,但是業(yè)務(wù)數(shù)量達(dá)到了幾十萬(wàn),所以我們還需要考慮這種情況下,如何確保單個(gè)業(yè)務(wù)的性能,也能確保業(yè)務(wù)之間互相不影響,同時(shí)還能確保成本比較低,其實(shí)這也是現(xiàn)在云計(jì)算時(shí)代的云原生技術(shù)、多租戶(hù)隔離能力。
隨著云計(jì)算、互聯(lián)網(wǎng)的不斷發(fā)展,數(shù)字化、大規(guī)模高并發(fā)業(yè)務(wù)場(chǎng)景愈加普遍,分布式數(shù)據(jù)庫(kù)需要成為云計(jì)算時(shí)代產(chǎn)業(yè)的常態(tài)化能力,要能夠做到靈活快速部署、敏捷開(kāi)發(fā)、便捷運(yùn)維等。這些都是驅(qū)動(dòng)TDSQL、計(jì)算與存儲(chǔ)分離的云原生數(shù)據(jù)庫(kù)CynosDB——現(xiàn)在的TDSQL-C等,不斷對(duì)自身數(shù)據(jù)庫(kù)技術(shù)進(jìn)行產(chǎn)品化打磨的源動(dòng)力。云時(shí)代到來(lái)之際,騰訊云數(shù)據(jù)庫(kù)產(chǎn)品,得以更加領(lǐng)先的產(chǎn)品化生態(tài)服務(wù)優(yōu)勢(shì),在數(shù)據(jù)庫(kù)國(guó)產(chǎn)化浪潮中立于潮頭。
國(guó)貨品牌:TDSQL助力國(guó)產(chǎn)數(shù)據(jù)庫(kù)蓬勃發(fā)展
作為騰訊耗時(shí)多年研發(fā)的數(shù)據(jù)庫(kù)產(chǎn)品,TDSQL在研發(fā)過(guò)程中多次實(shí)現(xiàn)技術(shù)上的新突破。
TDSQL原創(chuàng)性地提出的全面地解決讀一致性的算法,使得分布式事務(wù)的一致性和分布式系統(tǒng)的一致性統(tǒng)一在一起。在業(yè)界頗為頭疼的云數(shù)據(jù)庫(kù)運(yùn)維問(wèn)題上,TDSQL也通過(guò)自主研發(fā)的“赤兔”運(yùn)營(yíng)管理平臺(tái)和“扁鵲”智能DBA診斷系統(tǒng)予以解決。
TDSQL還與中國(guó)人民大學(xué)合作,創(chuàng)新性地提出并實(shí)現(xiàn)了(T-TDSQL)。該系統(tǒng)在保證OLTP性能的前提下,提供了輕量級(jí)的全時(shí)態(tài)數(shù)據(jù)管理功能和全時(shí)態(tài)數(shù)據(jù)的事務(wù)處理能力,以及集當(dāng)前態(tài)數(shù)據(jù)于生產(chǎn)系統(tǒng)、集歷史態(tài)數(shù)據(jù)于分析型系統(tǒng)的集群架構(gòu),構(gòu)成了全時(shí)態(tài)數(shù)據(jù)的完備解決方案。2019年該研發(fā)成果被國(guó)際數(shù)據(jù)庫(kù)學(xué)術(shù)頂會(huì)之一VLDB收錄。
除了為內(nèi)部業(yè)務(wù)提供支撐,TDSQL還為眾多政企客戶(hù)提供支持,助力國(guó)產(chǎn)數(shù)據(jù)庫(kù)蓬勃發(fā)展。
2019年9月12日,騰訊云官方公布了國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)TDSQL與張家港農(nóng)商行的合作案例。張家港農(nóng)商行新一代核心系統(tǒng)采用了騰訊云TDSQL來(lái)承載核心業(yè)務(wù)數(shù)據(jù),這是銀行傳統(tǒng)核心數(shù)據(jù)庫(kù)首次實(shí)現(xiàn)國(guó)產(chǎn)化。
除了張家港農(nóng)商行,TDSQL還服務(wù)和支持了大量銀行、保險(xiǎn)行業(yè)客戶(hù),實(shí)現(xiàn)了平安銀行信用卡A+新核心系統(tǒng)國(guó)產(chǎn)化、人保財(cái)險(xiǎn)系統(tǒng)的數(shù)據(jù)庫(kù)國(guó)產(chǎn)化等突破。
就在今年的5月11日,在上海舉辦的中國(guó)品牌日電子信息行業(yè)品牌建設(shè)分論壇上,騰訊云企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)正式入選“2021年中國(guó)品牌日電子信息行業(yè)國(guó)貨新品推廣目錄”。這是對(duì)TDSQL推動(dòng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)安全可控發(fā)展的肯定。
這個(gè)時(shí)代我們大有可為,我們正開(kāi)拓著一條數(shù)據(jù)庫(kù)自主可控的道路。截至目前TDSQL已經(jīng)為超過(guò)3000+的政企和金融機(jī)構(gòu)提供數(shù)據(jù)庫(kù)的公有云及私有云服務(wù),客戶(hù)行業(yè)覆蓋銀行、保險(xiǎn)、證券、互聯(lián)網(wǎng)金融、計(jì)費(fèi)、第三方支付、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)+、政務(wù)服務(wù)等領(lǐng)域。在未來(lái),我們?nèi)员种伴L(zhǎng)風(fēng)破浪會(huì)有時(shí),直掛云帆濟(jì)滄海”的決心,打贏這場(chǎng)關(guān)鍵核心技術(shù)的攻堅(jiān)戰(zhàn),共迎數(shù)字時(shí)代新機(jī)遇。