TDSQL在微信支付數(shù)據(jù)密集型應(yīng)用落地實踐

日前，騰訊云數(shù)據(jù)庫開源產(chǎn)品TDSQL PG版（開源代號TBase）宣布推出重磅升級——經(jīng)過一年半的打磨，上萬張表訪問場景下，內(nèi)存占用節(jié)省60%；查詢性能提升百倍；SQL語句兼容性增強。同時，大力提升原有數(shù)據(jù)庫版本在分布式場景下的易用性。

TDSQL PG版是一款具備HTAP能力、經(jīng)過騰訊多年持續(xù)投入研發(fā)的數(shù)據(jù)庫產(chǎn)品，是騰訊云數(shù)據(jù)庫團(tuán)隊在開源的PostgreSQL基礎(chǔ)上研發(fā)的企業(yè)級分布式HTAP數(shù)據(jù)庫管理系統(tǒng)，能夠提供成熟的一站式解決方案。騰訊云數(shù)據(jù)庫技術(shù)總監(jiān)李躍森介紹到，“在首次開源的10天內(nèi)，TDSQL PG版的Star數(shù)就達(dá)到了500多個。開源不久，就受到了歐洲航天局、國家天文臺，以及醫(yī)療健康、零售等各個行業(yè)用戶的青睞。”

作為新一代分布式企業(yè)級數(shù)據(jù)庫管理系統(tǒng)，TDSQL一直以來都應(yīng)用于微信支付核心系統(tǒng)，支持微信支付實現(xiàn)高性能、高可用、數(shù)字化應(yīng)用。近年來，微信支付基于TDSQL PG版構(gòu)建數(shù)據(jù)密集型應(yīng)用，實現(xiàn)單表數(shù)據(jù)輕松突破TB級海量存儲，TDSQL PG版高吞吐、高并發(fā)，自動擴(kuò)容的能力，充分滿足了微信支付的業(yè)務(wù)場景需求。

那微信支付應(yīng)用TDSQL PG版的過程中經(jīng)歷了哪些故事？TDSQL PG版在微信支付系統(tǒng)中又有哪些典型應(yīng)用案例呢？

1 微信支付與TDSQL PG版的陪跑歷程

“如果要用一個形容詞來描述微信支付與TDSQL PG版的關(guān)系，那就是‘你儂我儂’?！彬v訊高級工程師萬志穎在介紹微信支付案例時表示，“TDSQL PG版為我們提供武器，微信支付則為TDSQL PG版提供了充足的試煉戰(zhàn)場?！?/p>

以微信支付的商戶服務(wù)平臺為例，該平臺主要是為千萬級的商家提供帳單明細(xì)下載及帳單復(fù)雜條件查詢及統(tǒng)計分析的平臺。最開始，平臺使用開源MySQL作為底端存儲。但隨著京東等大商戶的接入，交易筆數(shù)逐步提升，數(shù)據(jù)增長單機(jī)存儲容量受限，微信支付遇到嚴(yán)重的容量瓶頸和性能瓶頸。在當(dāng)時的技術(shù)背景下，微信支付迫切需要一個好的解決方案，于是就選擇了TDSQL PG版。

TDSQL提供的解決方案很好地解決了微信支付遇到的問題。在容量問題上，TDSQL提供了海量數(shù)據(jù)存儲的在線線性擴(kuò)容能力；在大商戶的數(shù)據(jù)傾斜問題上，TDSQL基于雙KEY分布等機(jī)制解決了數(shù)據(jù)存儲均勻分布的問題；在分頁查詢性能問題上，TDSQL提供了基于Index only scan索引的相關(guān)優(yōu)化方案，解決了傳統(tǒng)web應(yīng)用分頁場景中總條數(shù)查詢耗時高的問題。

“在交易系統(tǒng)基礎(chǔ)上的更進(jìn)一步應(yīng)用的過程中，我們發(fā)現(xiàn)TDSQL PG版相關(guān)特性十分適合用于數(shù)據(jù)倉庫中的維表存儲，于是在2021年微信支付基于TDSQL PG版搭建了數(shù)據(jù)倉庫的維表管理系統(tǒng)，使其成為大數(shù)據(jù)生態(tài)中的重要組件?！比f志穎介紹。

2 TDSQL PG版在微信支付的應(yīng)用實踐

近年來，TDSQL PG版助力微信支付構(gòu)建數(shù)據(jù)密集型應(yīng)用，持續(xù)拓展應(yīng)用場景，在多個領(lǐng)域體現(xiàn)出比較優(yōu)勢，保證了業(yè)務(wù)的穩(wěn)定性和連續(xù)性。在此以報表系統(tǒng)和維表系統(tǒng)為例介紹TDSQL PG版在微信支付的應(yīng)用實踐。

微信支付報表系統(tǒng)中，存在兩種典型的讀寫模型：一種是基于spark離線計算平臺周期性寫入，比如一天寫入一次，每次寫的數(shù)據(jù)很少，但也有可能寫的數(shù)據(jù)量是十億級或者百億級。另外一種是通過消息隊列的方式進(jìn)行實時寫入來構(gòu)建實時報表。因為寫入端是大數(shù)據(jù)系統(tǒng)，每次寫入的數(shù)據(jù)量極其巨大，因此對底層數(shù)據(jù)存儲的寫入性能要求比較高。相比于開源MySQL，TDSQL PG版在并行寫入方面有明顯優(yōu)勢，具備更好的并行寫入性能及吞吐能力，可以大幅降低我們數(shù)據(jù)入庫完成時間，也能夠支撐實時報表等場景的需求。

在報表頁面讀取數(shù)據(jù)方面，TDSQL PG版相比較開源MySQL具備更為豐富的索引類型支持。例如微信支付有一個業(yè)務(wù)場景是從百億級數(shù)據(jù)中模糊檢索商戶名稱，在引入TDSQL PG版前該場景的查詢耗時接近17秒，優(yōu)化之后該場景的耗時直接降到50毫秒以內(nèi)，性能實現(xiàn)了極大提升。

截至目前，TDSQL PG版已經(jīng)累計承載了微信支付3600+報表的數(shù)據(jù)寫入、存儲和讀取，報表打開時間均能穩(wěn)定控制在3秒以內(nèi)，為整個報表平臺的性能帶來極大的改善。

微信支付還基于TDSQL PG版來構(gòu)建維表系統(tǒng)。維表是描述一個事物的不同角度，比如性別上的男和女，寫代碼時的枚舉值也可以認(rèn)為是一種維表。接下來就以枚舉值為例闡述微信支付如何基于TDSQL PG版來構(gòu)建維表系統(tǒng)。

微信支付所有系統(tǒng)的枚舉值都是基于履約建表系統(tǒng)進(jìn)行統(tǒng)一的錄入，目前總共有2700+枚舉值的數(shù)據(jù)，下游的OLTP數(shù)據(jù)倉庫中的計算任務(wù)以及報表系統(tǒng)、運營系統(tǒng)都會讀取這些枚舉值。如果上游對枚舉值進(jìn)行了修改或者新增，而下游得不到感知，這就會給整個系統(tǒng)的穩(wěn)定性造成嚴(yán)重后果。

為了解決這類問題，微信支付基于TDSQL PG版打通了OLTP系統(tǒng)與OLAP能力融合的維表系統(tǒng)，在OLTP維表管理系統(tǒng)中錄入或更新維表數(shù)據(jù)后，不論是在在線業(yè)務(wù)中、Spark計算中或者是報表系統(tǒng)中，都能實時引用最小的枚舉值數(shù)據(jù)參與計算。與此同時，數(shù)據(jù)使用方也可以直接在數(shù)據(jù)倉庫中看到每個枚舉值字段的枚舉值，不需要一層一層去查詢，枚舉值管理的復(fù)雜性得以控制，降低了相應(yīng)的質(zhì)量風(fēng)險，達(dá)到金融領(lǐng)域應(yīng)用的要求，極大的提高了我們的維護(hù)效率。

在整體運營上，目前微信支付在TDSQL PG版的存儲量已經(jīng)達(dá)到400TB+，每秒的請求量超過24萬次，99.6%的請求基本上耗時都可以控制在10毫秒以內(nèi)，充分滿足了微信支付的在性能和穩(wěn)定性上的高要求。

TDSQL是騰訊云企業(yè)級分布式數(shù)據(jù)庫，旗下涵蓋金融級分布式、云原生、分析型等多引擎融合的完整數(shù)據(jù)庫產(chǎn)品體系，提供業(yè)界領(lǐng)先的金融級高可用、計算存儲分離、數(shù)據(jù)倉庫、企業(yè)級安全等能力，同時具備智能運維平臺、Serverless版本等完善的產(chǎn)品服務(wù)體系。

截至2020年，TDSQL已對外服務(wù)數(shù)千家金融政企機(jī)構(gòu)，同時廣泛覆蓋游戲、電商、移動互聯(lián)網(wǎng)、云開發(fā)等泛互聯(lián)網(wǎng)業(yè)務(wù)場景，助力新零售、教育、SaaS、廣告等超過4000家行業(yè)客戶進(jìn)行數(shù)字化升級。