騰訊云領(lǐng)跑對象存儲背后，做海量數(shù)據(jù)驅(qū)動的新引擎

毫無疑問，隨著云計算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新技術(shù)在各行各業(yè)更加廣泛的普及與應(yīng)用，在催生越來越多數(shù)據(jù)量產(chǎn)生的同時，也讓數(shù)據(jù)的管理和價值挖掘變得愈加復(fù)雜和困難。

可以看到，未來大量數(shù)據(jù)可能不是來自數(shù)據(jù)中心內(nèi)部，而是分散在各種的邊緣設(shè)備上；同時，數(shù)據(jù)不僅僅是完成存儲就萬事大吉，還要支持智能化的管理和分析；此外，數(shù)據(jù)還需要在本地數(shù)據(jù)中心與云之間，甚至是多個云之間自由流動，以確保數(shù)據(jù)始終隨時可用等，這種前所未有的變化，也意味著存儲乃至整個數(shù)據(jù)基礎(chǔ)設(shè)施迎來了一個關(guān)鍵的重構(gòu)期。

在此背景下，騰訊云今年推出了面向?qū)ο蟠鎯Ψ?wù)COS的新一代存儲引擎YottaStore，并依托YottaStore陸續(xù)發(fā)布了全新的一站式數(shù)據(jù)湖、智能分層和深度歸檔等服務(wù)，可以說YottaStore不僅成為騰訊云存儲服務(wù)的堅實技術(shù)“底座”，同時更為眾多客戶海量數(shù)據(jù)的存儲和管理創(chuàng)造了無限的可能。

騰訊云存儲產(chǎn)品中心副總經(jīng)理陳崢

正如騰訊云存儲產(chǎn)品中心副總經(jīng)理陳崢日前在騰訊Techo Park開發(fā)者大會上所言：“騰訊云在過去的十年中，基于自身業(yè)務(wù)發(fā)展夯實了存儲技術(shù)底座，在開放兼容的趨勢中提升了存儲產(chǎn)品的能力。而下一個十年，是產(chǎn)業(yè)互聯(lián)網(wǎng)的十年，我們也衷心希望能和騰訊云的客戶一起騰云而上，為客戶提供更好的存儲服務(wù)?！?/span>

在這背后，正是騰訊云一直以來在存儲領(lǐng)域“與時俱進”積極響應(yīng)用戶需求的最新舉措，也是其跟隨產(chǎn)業(yè)互聯(lián)網(wǎng)時代不斷進化和迭代的具體體現(xiàn)，相信這種持續(xù)的前瞻力、創(chuàng)新力和產(chǎn)品力，將為騰訊云在存儲市場實現(xiàn)“長跑”乃至“領(lǐng)跑”起到更加至關(guān)重要的作用，也將會為釋放數(shù)據(jù)更大潛能發(fā)揮出更為關(guān)鍵的價值。

打造新一代存儲技術(shù)底座

隨著數(shù)字化轉(zhuǎn)型的提速，越來越多的海量數(shù)據(jù)正呈現(xiàn)出爆炸式增長，企業(yè)的存儲基礎(chǔ)設(shè)施也正面臨著“翻天覆地”的變化，特別是新的數(shù)據(jù)形態(tài)、新的部署環(huán)境、新的安全需求，都對存儲的發(fā)展提出了新的挑戰(zhàn)。

這種挑戰(zhàn)對于騰訊云而言主要表現(xiàn)在兩個方面：一方面是如何在滿足數(shù)據(jù)飛速增長、對功能、性能的要求不斷增加的情況下，持續(xù)降低成本、并提升服務(wù)質(zhì)量；另一方面，是騰訊云如何在充分享受硬件發(fā)展紅利的同時，也能夠持續(xù)分享給最終的客戶？

陳崢說：“最早我們研發(fā)了TFS存儲引擎，這個存儲引擎在騰訊也有超過十年的歷史，但是隨著整個騰訊的業(yè)務(wù)越來越多，數(shù)據(jù)量越來越大，我們發(fā)現(xiàn)原有的架構(gòu)在未來幾年應(yīng)對不了ZB級數(shù)據(jù)存儲的需求，因此面向未來就必須未雨綢繆，YottaStore引擎也就應(yīng)運而生?！?/span>

據(jù)了解，騰訊云新一代存儲引擎YottaStore于2018年開始啟動研發(fā)，2019年正式完成上線，這是一個完全由騰訊自研的面向百EB級別的分布式存儲架構(gòu)。其中，Yotta的中文諧音是“有他”，代表了安全可靠的意思，而在騰訊內(nèi)部，也有“存儲有他，能力無限”的說法，而YottaStore也在三個維度實現(xiàn)了重大的技術(shù)突破，具體而言：

一是，超大規(guī)模集群，極高資源利用率。傳統(tǒng)分布式存儲系統(tǒng)往往存在這樣的瓶頸，即單機無法承擔過高的QPS、元數(shù)據(jù)量大但單機容量有限、內(nèi)部邏輯往往非常復(fù)雜，此前也有社區(qū)嘗試突破這種瓶頸，比如通過垂直拆分Federation，但依然無法解決數(shù)據(jù)分布不均勻、請求分布不均勻等問題。

而YottaStore通過分級自治、讀寫分離以及按功能拆分等創(chuàng)新，化解了上述難題，目前YottaStore單集群規(guī)模就可達百萬臺，有效數(shù)據(jù)占比90%以上，存儲數(shù)據(jù)規(guī)模高達百EB級別，可靠性遠超12個9，可用性超過99.995%，還為客戶提供了單Bucket高達6萬的請求QPS，為滿足客戶云上大數(shù)據(jù)分析需求提供了底層能力支撐，在云上形成數(shù)據(jù)閉環(huán)。

二是，極致靈活，支持原生多AZ且硬件自適應(yīng)。YottaStore支持原生多AZ、任意副本和EC的冗余模式。原生多AZ的優(yōu)勢在于，所有的服務(wù)器可以共同承擔數(shù)據(jù)的吞吐量、數(shù)據(jù)一致性天然有保障，AZ出現(xiàn)故障降級即可，系統(tǒng)能夠自動恢復(fù)，其中RTO(恢復(fù)時間目標)可實現(xiàn)分鐘級，RPO(恢復(fù)點目標)為0。

除此之外，YottaStore也支持異構(gòu)硬件自適應(yīng)混合部署，同時代碼零改動就能兼容新硬件，包括存儲引擎、寫入分配、數(shù)據(jù)均衡、可用區(qū)劃分以及服務(wù)器部署都能自適應(yīng)。

三是，集群高度自治，具備100%可用性，單人值周零故障運行。YottaStore開始上線大規(guī)模支撐業(yè)務(wù)的前三個月，一直維持100%的可用性，到現(xiàn)在運行近兩年時間，系統(tǒng)一直都是單人值周零故障運行，這在業(yè)界也是極少見的?？梢哉f這種高度自治的能力，實現(xiàn)了更方便的運維、更高的可靠性（12個9）以及更好的可用性（4個9）。

在陳崢看來：“YottaStore在技術(shù)創(chuàng)新是相當前沿的，同時也在成本、性能、安全上提高了一個臺階，可以說是騰訊未來的關(guān)鍵存儲技術(shù)底座，目前騰訊云的對象存儲都是基于YottaStore實現(xiàn)的，更關(guān)鍵的是它還提供了標準的API和SDK以及生態(tài)工具，合作伙伴及客戶只需要通過S3的標準協(xié)議，或者是使用COS API，就能夠在其平臺上開發(fā)部署相關(guān)的服務(wù)和功能。”

對象存儲服務(wù)再樹新標桿

確實如此，正是有了YottaStore的“加持”，使得騰訊云存儲服務(wù)COS近期推出的一系列全新產(chǎn)品和解決方案，不僅具備了更為強大的市場競爭力，且在市場上也再次樹立了一個全新的標桿。

首先，是極具性價比的深度歸檔服務(wù)，其費用僅為0.01元/GB/月，再次刷新了業(yè)界的最低價格（此前業(yè)內(nèi)公有云服務(wù)商最低價格為0.024元/GB/月），相比本地磁帶庫歸檔總體TCO還下降了20%，同時穩(wěn)定性也高達11個9，且能夠12小時即可回熱，在易用性方面還支持全套API，SDK以及10+家外部備份軟件，廣泛適用于適用于合規(guī)性數(shù)據(jù)、異地容災(zāi)、數(shù)據(jù)備份等業(yè)務(wù)場景。

除此之外，騰訊云存儲團隊也在深度歸檔服務(wù)“軟硬件優(yōu)化”方面下足了功夫。其中，硬件優(yōu)化方面啟用了全新的高密度存儲介質(zhì)，發(fā)揮了存儲介質(zhì)的優(yōu)勢；而軟件優(yōu)化方面則采用了全新的數(shù)據(jù)壓縮技術(shù)，由此讓存儲密度獲得最大化的提升。

其次，是全新推出的智能分層技術(shù)，在云存儲服務(wù)市場也屬于首創(chuàng)。該技術(shù)主要針對未知訪問模式，通過對頻繁訪問和不頻繁訪問的數(shù)據(jù)進行分層，根據(jù)訪問需求自動地將連續(xù)30天（可配置）未訪問的對象移至不頻繁訪問層或移回頻繁訪問層，能夠幫助用戶降低20%的成本。同時，還提供首字節(jié)毫秒級響應(yīng)能力，企業(yè)即使在不斷變化的訪問模式下，也可以節(jié)省資金，且不會影響業(yè)務(wù)性能。此外，智能分層技術(shù)也提供高達12個9的存儲數(shù)據(jù)持久性，以及4個9的業(yè)務(wù)設(shè)計可用性，真正為存儲業(yè)務(wù)實現(xiàn)“保駕護航”。

客觀的說，隨著海量數(shù)據(jù)的不斷增長，應(yīng)用場景的不斷變化，這種通過智能分層技術(shù)重構(gòu)存儲訪問模式，相比傳統(tǒng)在硬件上實現(xiàn)分層存儲架構(gòu)的方式，無論是在理念上還是技術(shù)創(chuàng)新上，都可謂“再上一層樓”，這樣不僅能夠最大化的提升應(yīng)用訪問的性能和響應(yīng)速度，同時也能進一步降低TCO成本，真正驅(qū)動了數(shù)據(jù)管理進入了精細化的時代。

第三，是一站式數(shù)據(jù)湖服務(wù)，騰訊云基于安全可靠、低成本、高吞吐的對象存儲平臺，也推出了涵蓋了數(shù)據(jù)的集成、存儲、分析、展示等多個階段的一站式數(shù)據(jù)湖服務(wù)，可以滿足用戶低成本、高性能、流批一體地挖掘數(shù)據(jù)資產(chǎn)價值的需求。

與此同時，騰訊云對象存儲服務(wù)也能將日志流、數(shù)據(jù)表、圖片音視頻等異構(gòu)數(shù)據(jù)放在對象存儲上，并基于騰訊云的彈性MapReduce等大數(shù)據(jù)產(chǎn)品進行數(shù)據(jù)分析，通過存算分離的架構(gòu)，解決業(yè)務(wù)彈性伸縮問題，進一步減少企業(yè)成本。

最后，騰訊云存儲還在對象存儲緩存加速解決方案、數(shù)據(jù)安全、云硬盤CBS、文件存儲CFS、數(shù)據(jù)協(xié)作平臺、容器存儲持久化等細分領(lǐng)域不斷創(chuàng)新，為海量數(shù)據(jù)的存儲和管理提供了更加全方位的服務(wù)。

以一站式對象存儲緩存加速解決方案TurboFS為例，該方案集成DataCache和MetaCache能力，能夠提供海量存儲的高性能、原子性、一致性的文件系統(tǒng)；提供Pre-fetch預(yù)熱功能，能夠同步和異步寫能力，定制化管理元數(shù)據(jù)；此外，還提供近數(shù)據(jù)端的計算能力，加速查詢性能，且支持不同列式的存儲格式，無縫銜接諸如TensorFlow、Spark、Persto等大數(shù)據(jù)應(yīng)用。

再如，越來越密集的單節(jié)點容器部署，越來越高的容器啟停頻率，對單節(jié)點存儲的性能密度要求越來越高，同時超大規(guī)模容器集群的核心數(shù)據(jù)服務(wù)，對存儲的時延和性能也有極高的要求，為此針對這種全新的場景，騰訊云同樣推出了具備百微妙時延/百萬IOPS的極速型云盤，對IOPS和帶寬、穩(wěn)定性、時延做出大幅優(yōu)化，能夠最大支持5000節(jié)點和15萬Pods的快速啟動。

由此可見，如此密集的存儲服務(wù)產(chǎn)品和解決方案的全面升級和迭代，可以說是騰訊云存儲技術(shù)創(chuàng)新和技術(shù)紅利疊加效應(yīng)釋放的集中體現(xiàn)，背后更是騰訊云存儲一直以來在自研架構(gòu)、軟硬件協(xié)同、以及在創(chuàng)新之路上不斷追求“極致”的最好印證。

為海量數(shù)據(jù)創(chuàng)造無限可能

值得一提的是，通過不斷降低存儲技術(shù)和數(shù)據(jù)管理解決方案的使用門檻，騰訊云存儲也讓越來越多的客戶享受到了騰訊云技術(shù)創(chuàng)新所帶來的紅利釋放。

以頭部社交電商平臺小紅書為例，其月活數(shù)據(jù)超過1億，每天筆記曝光量達到80億次。面對爆發(fā)式增長的業(yè)務(wù)場景，小紅書研發(fā)團隊構(gòu)建了一個基于對象存儲的數(shù)據(jù)湖，利用公有云彈性計算的能力完成AI訓練和學習，為推薦、廣告和搜索等業(yè)務(wù)提供模型支撐，同時也需要解決海量大數(shù)據(jù)計算下對性能成本的彈性需求從而減少業(yè)務(wù)成本。

通過騰訊云，小紅書開發(fā)團隊構(gòu)建了可拓展的數(shù)據(jù)接入集群，實現(xiàn)了彈性伸縮能力，完成對用戶行為數(shù)據(jù)的實時分析和推薦后，將有效數(shù)據(jù)以更低成本進行了存儲，滿足了小紅書業(yè)務(wù)可拓展、高吞吐和低成本的要求。

新東方AI研究院負責人張建鑫

不僅如此，新東方AI研究院負責人張建鑫對騰訊云的對象存儲能力也給出了充分認可。特別是在今年疫情期間，騰訊云針對在線教育行業(yè)客戶提供存儲處理一體化解決方案，快速支持了新東方將線下課程搬到線上的需求，保證了新東方直播/點播業(yè)務(wù)的穩(wěn)定運行。同時，在新東方APP和新東方內(nèi)容平臺的合作上，騰訊云分布式存儲和彈性擴容計算能力也顯著提升了新東方系統(tǒng)服務(wù)的穩(wěn)定性，改善了學生線上作業(yè)的學習體驗。

而知乎數(shù)據(jù)架構(gòu)平臺離線架構(gòu)存儲專家劉曉龍，在談到與騰訊云的合作時同樣表示，騰訊云計算與存儲分離方案發(fā)揮計算彈性伸縮能力，幫助知乎滿足業(yè)務(wù)對計算資源的靈活調(diào)度，相信雙方在后續(xù)合作中，一定會給廣大知乎用戶帶來更良好的產(chǎn)品體驗。

知乎數(shù)據(jù)架構(gòu)平臺離線架構(gòu)存儲專家劉曉龍

對此，陳崢最后也表示：“過去一段時間，我們不僅自研了新一代存儲引擎YottaStore，同時還在成本、性能、安全三個最為本源的基礎(chǔ)能力上不斷打磨和優(yōu)化，就是希望能把這種技術(shù)創(chuàng)新做到‘開箱即用’，讓更多的客戶也能享受我們騰訊云存儲創(chuàng)新的紅利，而接下來圍繞對象存儲COS的生態(tài)建設(shè)，包括在大數(shù)據(jù)、混合云存儲、云原生存儲等領(lǐng)域，騰訊云也會不斷的展開探索與創(chuàng)新，最終的目標是打造數(shù)據(jù)全生命周期的閉環(huán)，最大化的釋放數(shù)據(jù)的潛能和價值?！?/strong>

全文總結(jié)，產(chǎn)業(yè)互聯(lián)網(wǎng)時代的來臨無疑賦予了整個存儲市場更大的活力，同樣也給騰訊云存儲帶來了前所未有的機遇。而在此過程中，騰訊云存儲始終保持著不斷的投入與創(chuàng)新，進化與迭代，以及對行業(yè)需求的前瞻認知和準確判斷，這讓它真正有能力，也有信心幫助更多企業(yè)可以更簡單、更從容的實現(xiàn)數(shù)字化轉(zhuǎn)型，并在產(chǎn)業(yè)互聯(lián)網(wǎng)時代建立起全新的競爭力。從這個角度來看，騰訊云在存儲領(lǐng)域的持續(xù)創(chuàng)新，其價值可謂“不止于現(xiàn)在，更關(guān)乎未來”。