騰訊云領(lǐng)跑對(duì)象存儲(chǔ)背后，做海量數(shù)據(jù)驅(qū)動(dòng)的新引擎

毫無疑問，隨著云計(jì)算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新技術(shù)在各行各業(yè)更加廣泛的普及與應(yīng)用，在催生越來越多數(shù)據(jù)量產(chǎn)生的同時(shí)，也讓數(shù)據(jù)的管理和價(jià)值挖掘變得愈加復(fù)雜和困難。

可以看到，未來大量數(shù)據(jù)可能不是來自數(shù)據(jù)中心內(nèi)部，而是分散在各種的邊緣設(shè)備上；同時(shí)，數(shù)據(jù)不僅僅是完成存儲(chǔ)就萬事大吉，還要支持智能化的管理和分析；此外，數(shù)據(jù)還需要在本地?cái)?shù)據(jù)中心與云之間，甚至是多個(gè)云之間自由流動(dòng)，以確保數(shù)據(jù)始終隨時(shí)可用等，這種前所未有的變化，也意味著存儲(chǔ)乃至整個(gè)數(shù)據(jù)基礎(chǔ)設(shè)施迎來了一個(gè)關(guān)鍵的重構(gòu)期。

在此背景下，騰訊云今年推出了面向?qū)ο蟠鎯?chǔ)服務(wù)COS的新一代存儲(chǔ)引擎YottaStore，并依托YottaStore陸續(xù)發(fā)布了全新的一站式數(shù)據(jù)湖、智能分層和深度歸檔等服務(wù)，可以說YottaStore不僅成為騰訊云存儲(chǔ)服務(wù)的堅(jiān)實(shí)技術(shù)“底座”，同時(shí)更為眾多客戶海量數(shù)據(jù)的存儲(chǔ)和管理創(chuàng)造了無限的可能。

騰訊云存儲(chǔ)產(chǎn)品中心副總經(jīng)理陳崢

正如騰訊云存儲(chǔ)產(chǎn)品中心副總經(jīng)理陳崢日前在騰訊Techo Park開發(fā)者大會(huì)上所言：“騰訊云在過去的十年中，基于自身業(yè)務(wù)發(fā)展夯實(shí)了存儲(chǔ)技術(shù)底座，在開放兼容的趨勢(shì)中提升了存儲(chǔ)產(chǎn)品的能力。而下一個(gè)十年，是產(chǎn)業(yè)互聯(lián)網(wǎng)的十年，我們也衷心希望能和騰訊云的客戶一起騰云而上，為客戶提供更好的存儲(chǔ)服務(wù)。”

在這背后，正是騰訊云一直以來在存儲(chǔ)領(lǐng)域“與時(shí)俱進(jìn)”積極響應(yīng)用戶需求的最新舉措，也是其跟隨產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代不斷進(jìn)化和迭代的具體體現(xiàn)，相信這種持續(xù)的前瞻力、創(chuàng)新力和產(chǎn)品力，將為騰訊云在存儲(chǔ)市場(chǎng)實(shí)現(xiàn)“長(zhǎng)跑”乃至“領(lǐng)跑”起到更加至關(guān)重要的作用，也將會(huì)為釋放數(shù)據(jù)更大潛能發(fā)揮出更為關(guān)鍵的價(jià)值。

打造新一代存儲(chǔ)技術(shù)底座

隨著數(shù)字化轉(zhuǎn)型的提速，越來越多的海量數(shù)據(jù)正呈現(xiàn)出爆炸式增長(zhǎng)，企業(yè)的存儲(chǔ)基礎(chǔ)設(shè)施也正面臨著“翻天覆地”的變化，特別是新的數(shù)據(jù)形態(tài)、新的部署環(huán)境、新的安全需求，都對(duì)存儲(chǔ)的發(fā)展提出了新的挑戰(zhàn)。

這種挑戰(zhàn)對(duì)于騰訊云而言主要表現(xiàn)在兩個(gè)方面：一方面是如何在滿足數(shù)據(jù)飛速增長(zhǎng)、對(duì)功能、性能的要求不斷增加的情況下，持續(xù)降低成本、并提升服務(wù)質(zhì)量；另一方面，是騰訊云如何在充分享受硬件發(fā)展紅利的同時(shí)，也能夠持續(xù)分享給最終的客戶？

陳崢說：“最早我們研發(fā)了TFS存儲(chǔ)引擎，這個(gè)存儲(chǔ)引擎在騰訊也有超過十年的歷史，但是隨著整個(gè)騰訊的業(yè)務(wù)越來越多，數(shù)據(jù)量越來越大，我們發(fā)現(xiàn)原有的架構(gòu)在未來幾年應(yīng)對(duì)不了ZB級(jí)數(shù)據(jù)存儲(chǔ)的需求，因此面向未來就必須未雨綢繆，YottaStore引擎也就應(yīng)運(yùn)而生?！?/span>

據(jù)了解，騰訊云新一代存儲(chǔ)引擎YottaStore于2018年開始啟動(dòng)研發(fā)，2019年正式完成上線，這是一個(gè)完全由騰訊自研的面向百EB級(jí)別的分布式存儲(chǔ)架構(gòu)。其中，Yotta的中文諧音是“有他”，代表了安全可靠的意思，而在騰訊內(nèi)部，也有“存儲(chǔ)有他，能力無限”的說法，而YottaStore也在三個(gè)維度實(shí)現(xiàn)了重大的技術(shù)突破，具體而言：

一是，超大規(guī)模集群，極高資源利用率。傳統(tǒng)分布式存儲(chǔ)系統(tǒng)往往存在這樣的瓶頸，即單機(jī)無法承擔(dān)過高的QPS、元數(shù)據(jù)量大但單機(jī)容量有限、內(nèi)部邏輯往往非常復(fù)雜，此前也有社區(qū)嘗試突破這種瓶頸，比如通過垂直拆分Federation，但依然無法解決數(shù)據(jù)分布不均勻、請(qǐng)求分布不均勻等問題。

而YottaStore通過分級(jí)自治、讀寫分離以及按功能拆分等創(chuàng)新，化解了上述難題，目前YottaStore單集群規(guī)模就可達(dá)百萬臺(tái)，有效數(shù)據(jù)占比90%以上，存儲(chǔ)數(shù)據(jù)規(guī)模高達(dá)百EB級(jí)別，可靠性遠(yuǎn)超12個(gè)9，可用性超過99.995%，還為客戶提供了單Bucket高達(dá)6萬的請(qǐng)求QPS，為滿足客戶云上大數(shù)據(jù)分析需求提供了底層能力支撐，在云上形成數(shù)據(jù)閉環(huán)。

二是，極致靈活，支持原生多AZ且硬件自適應(yīng)。YottaStore支持原生多AZ、任意副本和EC的冗余模式。原生多AZ的優(yōu)勢(shì)在于，所有的服務(wù)器可以共同承擔(dān)數(shù)據(jù)的吞吐量、數(shù)據(jù)一致性天然有保障，AZ出現(xiàn)故障降級(jí)即可，系統(tǒng)能夠自動(dòng)恢復(fù)，其中RTO(恢復(fù)時(shí)間目標(biāo))可實(shí)現(xiàn)分鐘級(jí)，RPO(恢復(fù)點(diǎn)目標(biāo))為0。

除此之外，YottaStore也支持異構(gòu)硬件自適應(yīng)混合部署，同時(shí)代碼零改動(dòng)就能兼容新硬件，包括存儲(chǔ)引擎、寫入分配、數(shù)據(jù)均衡、可用區(qū)劃分以及服務(wù)器部署都能自適應(yīng)。

三是，集群高度自治，具備100%可用性，單人值周零故障運(yùn)行。YottaStore開始上線大規(guī)模支撐業(yè)務(wù)的前三個(gè)月，一直維持100%的可用性，到現(xiàn)在運(yùn)行近兩年時(shí)間，系統(tǒng)一直都是單人值周零故障運(yùn)行，這在業(yè)界也是極少見的?？梢哉f這種高度自治的能力，實(shí)現(xiàn)了更方便的運(yùn)維、更高的可靠性（12個(gè)9）以及更好的可用性（4個(gè)9）。

在陳崢看來：“YottaStore在技術(shù)創(chuàng)新是相當(dāng)前沿的，同時(shí)也在成本、性能、安全上提高了一個(gè)臺(tái)階，可以說是騰訊未來的關(guān)鍵存儲(chǔ)技術(shù)底座，目前騰訊云的對(duì)象存儲(chǔ)都是基于YottaStore實(shí)現(xiàn)的，更關(guān)鍵的是它還提供了標(biāo)準(zhǔn)的API和SDK以及生態(tài)工具，合作伙伴及客戶只需要通過S3的標(biāo)準(zhǔn)協(xié)議，或者是使用COS API，就能夠在其平臺(tái)上開發(fā)部署相關(guān)的服務(wù)和功能。”

對(duì)象存儲(chǔ)服務(wù)再樹新標(biāo)桿

確實(shí)如此，正是有了YottaStore的“加持”，使得騰訊云存儲(chǔ)服務(wù)COS近期推出的一系列全新產(chǎn)品和解決方案，不僅具備了更為強(qiáng)大的市場(chǎng)競(jìng)爭(zhēng)力，且在市場(chǎng)上也再次樹立了一個(gè)全新的標(biāo)桿。

首先，是極具性價(jià)比的深度歸檔服務(wù)，其費(fèi)用僅為0.01元/GB/月，再次刷新了業(yè)界的最低價(jià)格（此前業(yè)內(nèi)公有云服務(wù)商最低價(jià)格為0.024元/GB/月），相比本地磁帶庫(kù)歸檔總體TCO還下降了20%，同時(shí)穩(wěn)定性也高達(dá)11個(gè)9，且能夠12小時(shí)即可回?zé)?，在易用性方面還支持全套API，SDK以及10+家外部備份軟件，廣泛適用于適用于合規(guī)性數(shù)據(jù)、異地容災(zāi)、數(shù)據(jù)備份等業(yè)務(wù)場(chǎng)景。

除此之外，騰訊云存儲(chǔ)團(tuán)隊(duì)也在深度歸檔服務(wù)“軟硬件優(yōu)化”方面下足了功夫。其中，硬件優(yōu)化方面啟用了全新的高密度存儲(chǔ)介質(zhì)，發(fā)揮了存儲(chǔ)介質(zhì)的優(yōu)勢(shì)；而軟件優(yōu)化方面則采用了全新的數(shù)據(jù)壓縮技術(shù)，由此讓存儲(chǔ)密度獲得最大化的提升。

其次，是全新推出的智能分層技術(shù)，在云存儲(chǔ)服務(wù)市場(chǎng)也屬于首創(chuàng)。該技術(shù)主要針對(duì)未知訪問模式，通過對(duì)頻繁訪問和不頻繁訪問的數(shù)據(jù)進(jìn)行分層，根據(jù)訪問需求自動(dòng)地將連續(xù)30天（可配置）未訪問的對(duì)象移至不頻繁訪問層或移回頻繁訪問層，能夠幫助用戶降低20%的成本。同時(shí)，還提供首字節(jié)毫秒級(jí)響應(yīng)能力，企業(yè)即使在不斷變化的訪問模式下，也可以節(jié)省資金，且不會(huì)影響業(yè)務(wù)性能。此外，智能分層技術(shù)也提供高達(dá)12個(gè)9的存儲(chǔ)數(shù)據(jù)持久性，以及4個(gè)9的業(yè)務(wù)設(shè)計(jì)可用性，真正為存儲(chǔ)業(yè)務(wù)實(shí)現(xiàn)“保駕護(hù)航”。

客觀的說，隨著海量數(shù)據(jù)的不斷增長(zhǎng)，應(yīng)用場(chǎng)景的不斷變化，這種通過智能分層技術(shù)重構(gòu)存儲(chǔ)訪問模式，相比傳統(tǒng)在硬件上實(shí)現(xiàn)分層存儲(chǔ)架構(gòu)的方式，無論是在理念上還是技術(shù)創(chuàng)新上，都可謂“再上一層樓”，這樣不僅能夠最大化的提升應(yīng)用訪問的性能和響應(yīng)速度，同時(shí)也能進(jìn)一步降低TCO成本，真正驅(qū)動(dòng)了數(shù)據(jù)管理進(jìn)入了精細(xì)化的時(shí)代。

第三，是一站式數(shù)據(jù)湖服務(wù)，騰訊云基于安全可靠、低成本、高吞吐的對(duì)象存儲(chǔ)平臺(tái)，也推出了涵蓋了數(shù)據(jù)的集成、存儲(chǔ)、分析、展示等多個(gè)階段的一站式數(shù)據(jù)湖服務(wù)，可以滿足用戶低成本、高性能、流批一體地挖掘數(shù)據(jù)資產(chǎn)價(jià)值的需求。

與此同時(shí)，騰訊云對(duì)象存儲(chǔ)服務(wù)也能將日志流、數(shù)據(jù)表、圖片音視頻等異構(gòu)數(shù)據(jù)放在對(duì)象存儲(chǔ)上，并基于騰訊云的彈性MapReduce等大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)分析，通過存算分離的架構(gòu)，解決業(yè)務(wù)彈性伸縮問題，進(jìn)一步減少企業(yè)成本。

最后，騰訊云存儲(chǔ)還在對(duì)象存儲(chǔ)緩存加速解決方案、數(shù)據(jù)安全、云硬盤CBS、文件存儲(chǔ)CFS、數(shù)據(jù)協(xié)作平臺(tái)、容器存儲(chǔ)持久化等細(xì)分領(lǐng)域不斷創(chuàng)新，為海量數(shù)據(jù)的存儲(chǔ)和管理提供了更加全方位的服務(wù)。

以一站式對(duì)象存儲(chǔ)緩存加速解決方案TurboFS為例，該方案集成DataCache和MetaCache能力，能夠提供海量存儲(chǔ)的高性能、原子性、一致性的文件系統(tǒng)；提供Pre-fetch預(yù)熱功能，能夠同步和異步寫能力，定制化管理元數(shù)據(jù)；此外，還提供近數(shù)據(jù)端的計(jì)算能力，加速查詢性能，且支持不同列式的存儲(chǔ)格式，無縫銜接諸如TensorFlow、Spark、Persto等大數(shù)據(jù)應(yīng)用。

再如，越來越密集的單節(jié)點(diǎn)容器部署，越來越高的容器啟停頻率，對(duì)單節(jié)點(diǎn)存儲(chǔ)的性能密度要求越來越高，同時(shí)超大規(guī)模容器集群的核心數(shù)據(jù)服務(wù)，對(duì)存儲(chǔ)的時(shí)延和性能也有極高的要求，為此針對(duì)這種全新的場(chǎng)景，騰訊云同樣推出了具備百微妙時(shí)延/百萬IOPS的極速型云盤，對(duì)IOPS和帶寬、穩(wěn)定性、時(shí)延做出大幅優(yōu)化，能夠最大支持5000節(jié)點(diǎn)和15萬Pods的快速啟動(dòng)。

由此可見，如此密集的存儲(chǔ)服務(wù)產(chǎn)品和解決方案的全面升級(jí)和迭代，可以說是騰訊云存儲(chǔ)技術(shù)創(chuàng)新和技術(shù)紅利疊加效應(yīng)釋放的集中體現(xiàn)，背后更是騰訊云存儲(chǔ)一直以來在自研架構(gòu)、軟硬件協(xié)同、以及在創(chuàng)新之路上不斷追求“極致”的最好印證。

為海量數(shù)據(jù)創(chuàng)造無限可能

值得一提的是，通過不斷降低存儲(chǔ)技術(shù)和數(shù)據(jù)管理解決方案的使用門檻，騰訊云存儲(chǔ)也讓越來越多的客戶享受到了騰訊云技術(shù)創(chuàng)新所帶來的紅利釋放。

以頭部社交電商平臺(tái)小紅書為例，其月活數(shù)據(jù)超過1億，每天筆記曝光量達(dá)到80億次。面對(duì)爆發(fā)式增長(zhǎng)的業(yè)務(wù)場(chǎng)景，小紅書研發(fā)團(tuán)隊(duì)構(gòu)建了一個(gè)基于對(duì)象存儲(chǔ)的數(shù)據(jù)湖，利用公有云彈性計(jì)算的能力完成AI訓(xùn)練和學(xué)習(xí)，為推薦、廣告和搜索等業(yè)務(wù)提供模型支撐，同時(shí)也需要解決海量大數(shù)據(jù)計(jì)算下對(duì)性能成本的彈性需求從而減少業(yè)務(wù)成本。

通過騰訊云，小紅書開發(fā)團(tuán)隊(duì)構(gòu)建了可拓展的數(shù)據(jù)接入集群，實(shí)現(xiàn)了彈性伸縮能力，完成對(duì)用戶行為數(shù)據(jù)的實(shí)時(shí)分析和推薦后，將有效數(shù)據(jù)以更低成本進(jìn)行了存儲(chǔ)，滿足了小紅書業(yè)務(wù)可拓展、高吞吐和低成本的要求。

新東方AI研究院負(fù)責(zé)人張建鑫

不僅如此，新東方AI研究院負(fù)責(zé)人張建鑫對(duì)騰訊云的對(duì)象存儲(chǔ)能力也給出了充分認(rèn)可。特別是在今年疫情期間，騰訊云針對(duì)在線教育行業(yè)客戶提供存儲(chǔ)處理一體化解決方案，快速支持了新東方將線下課程搬到線上的需求，保證了新東方直播/點(diǎn)播業(yè)務(wù)的穩(wěn)定運(yùn)行。同時(shí)，在新東方APP和新東方內(nèi)容平臺(tái)的合作上，騰訊云分布式存儲(chǔ)和彈性擴(kuò)容計(jì)算能力也顯著提升了新東方系統(tǒng)服務(wù)的穩(wěn)定性，改善了學(xué)生線上作業(yè)的學(xué)習(xí)體驗(yàn)。

而知乎數(shù)據(jù)架構(gòu)平臺(tái)離線架構(gòu)存儲(chǔ)專家劉曉龍，在談到與騰訊云的合作時(shí)同樣表示，騰訊云計(jì)算與存儲(chǔ)分離方案發(fā)揮計(jì)算彈性伸縮能力，幫助知乎滿足業(yè)務(wù)對(duì)計(jì)算資源的靈活調(diào)度，相信雙方在后續(xù)合作中，一定會(huì)給廣大知乎用戶帶來更良好的產(chǎn)品體驗(yàn)。

知乎數(shù)據(jù)架構(gòu)平臺(tái)離線架構(gòu)存儲(chǔ)專家劉曉龍

對(duì)此，陳崢最后也表示：“過去一段時(shí)間，我們不僅自研了新一代存儲(chǔ)引擎YottaStore，同時(shí)還在成本、性能、安全三個(gè)最為本源的基礎(chǔ)能力上不斷打磨和優(yōu)化，就是希望能把這種技術(shù)創(chuàng)新做到‘開箱即用’，讓更多的客戶也能享受我們騰訊云存儲(chǔ)創(chuàng)新的紅利，而接下來圍繞對(duì)象存儲(chǔ)COS的生態(tài)建設(shè)，包括在大數(shù)據(jù)、混合云存儲(chǔ)、云原生存儲(chǔ)等領(lǐng)域，騰訊云也會(huì)不斷的展開探索與創(chuàng)新，最終的目標(biāo)是打造數(shù)據(jù)全生命周期的閉環(huán)，最大化的釋放數(shù)據(jù)的潛能和價(jià)值。”

全文總結(jié)，產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代的來臨無疑賦予了整個(gè)存儲(chǔ)市場(chǎng)更大的活力，同樣也給騰訊云存儲(chǔ)帶來了前所未有的機(jī)遇。而在此過程中，騰訊云存儲(chǔ)始終保持著不斷的投入與創(chuàng)新，進(jìn)化與迭代，以及對(duì)行業(yè)需求的前瞻認(rèn)知和準(zhǔn)確判斷，這讓它真正有能力，也有信心幫助更多企業(yè)可以更簡(jiǎn)單、更從容的實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，并在產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代建立起全新的競(jìng)爭(zhēng)力。從這個(gè)角度來看，騰訊云在存儲(chǔ)領(lǐng)域的持續(xù)創(chuàng)新，其價(jià)值可謂“不止于現(xiàn)在，更關(guān)乎未來”。