阿里云OSS成本優(yōu)化指南

來源: 云原生Lab
作者: titi
時間:2021-07-01
17053
對象存儲OSS(Object Storage Service)是阿里云提供的海量、安全、低成本、高持久的云存儲服務(wù)。OSS可用于圖片、音視頻、日志等海量文件的存儲。各種終端設(shè)備、Web網(wǎng)站程序、移動應(yīng)用可以直接向OSS寫入或讀取數(shù)據(jù)。

OSS是什么

對象存儲OSS(Object Storage Service)是阿里云提供的海量、安全、低成本、高持久的云存儲服務(wù)。OSS可用于圖片、音視頻、日志等海量文件的存儲。各種終端設(shè)備、Web網(wǎng)站程序、移動應(yīng)用可以直接向OSS寫入或讀取數(shù)據(jù)。同時,OSS也提供原生的傳輸加速功能,支持上傳加速、下載加速、提升跨國、跨洋數(shù)據(jù)上傳、下載的體驗。也可以結(jié)合CDN產(chǎn)品,提供靜態(tài)內(nèi)容存儲、分發(fā)到邊緣節(jié)點(diǎn)的解決方案,利用CDN邊緣節(jié)點(diǎn)緩存的數(shù)據(jù),提升同一個文件被同一地區(qū)客戶大流量重復(fù)并發(fā)下載的體驗。除此以外,上傳文件到OSS后,可以配合媒體處理服務(wù)和圖片福利進(jìn)行云端的數(shù)據(jù)處理。


問題與挑戰(zhàn)

除了阿里云以外、無論是使用過AWS、微軟云還是別的云廠商,云上托管對象存儲服務(wù)在管理上通常都面臨類似的問題。由于對象存儲使用太過便捷,對于管理員來說,僅僅是將對應(yīng)的存儲桶(Bucket)權(quán)限或是Access Key給到對應(yīng)的研發(fā)團(tuán)隊,由于不同的業(yè)務(wù)場景以及存儲對象類型的差異,無法簡單地使用通用策略管理,因此也很難做到精細(xì)化管理。

阿里云OSS提供標(biāo)準(zhǔn)、低頻訪問、歸檔和冷歸檔四種不同的存儲類型,每種類型的性能和價格均不一樣;不同的存儲類型又分為本地冗余及同城冗余;同時還要考慮不同的業(yè)務(wù)場景是否需要對存儲對象開啟版本控制功能增加生命周期管理。

對于OSS來說,如何在保證數(shù)據(jù)可靠性、符合業(yè)務(wù)場景的前提下,選擇適合的配置模式。


成本分析

在許多的領(lǐng)域OSS可以作為云上共享存儲的替代方案使用,諸如用戶上傳存儲圖片、PDF等。在存儲成本及可靠性成本具備天然優(yōu)勢。其次,由于OSS支持CRUD操作,也使得研發(fā)人員能夠非常方便地管理Bucket中的對象。

OSS的成本在大多數(shù)時候相較于ECS、RDS等云上資源并不會引起特別注意,也因此對于OSS的精細(xì)化管理沒有投入許多精力的原因之一。而事實上,在許多數(shù)據(jù)分析場景如AI算法、大數(shù)據(jù)分析等,當(dāng)數(shù)據(jù)量達(dá)到PB級別,若沒有針對對應(yīng)Bucket做任何的控制策略,一年在阿里云上的存儲成本將達(dá)到150萬的支出。在理解如何優(yōu)化OSS成本之前,先來看下所需具備阿里云OSS的相關(guān)知識。


存儲類型

對象存儲OSS提供標(biāo)準(zhǔn)、低頻訪問、歸檔、冷歸檔四種存儲類型,全面覆蓋從熱到冷的各種數(shù)據(jù)存儲場景。

  • 標(biāo)準(zhǔn)存儲(Standard)

提供高可靠、高可用、高性能的對象存儲服務(wù),能夠支持頻繁的數(shù)據(jù)訪問。適用于各種社交、分享類的圖片、音視頻應(yīng)用、大型網(wǎng)站、大數(shù)據(jù)分析等業(yè)務(wù)場景。


  • 低頻訪問(Infrequent Access)

提供高持久性、較低存儲成本的對象存儲服務(wù)。有最低存儲時間(30天)和最小計量單位(64 KB)要求。支持?jǐn)?shù)據(jù)實時訪問,訪問數(shù)據(jù)時會產(chǎn)生數(shù)據(jù)取回費(fèi)用,適用于較低訪問頻率(平均每月訪問頻率1到2次)的業(yè)務(wù)場景。


  • 歸檔存儲(Archive)


提供了高持久性、極低存儲成本的對象存儲服務(wù)。有最低存儲時間(60天)和最小計量單位(64 KB)要求。數(shù)據(jù)需解凍(約1分鐘)后訪問,解凍會產(chǎn)生數(shù)據(jù)取回費(fèi)用。適用于數(shù)據(jù)長期保存的業(yè)務(wù)場景,例如檔案數(shù)據(jù)、醫(yī)療影像、科學(xué)資料、影視素材等。


  • 冷歸檔存儲(Cold Archive)


提供了高持久性的對象存儲服務(wù),存儲費(fèi)用在四種存儲類型中最低。有最低存儲時間(180天)和最小計量單位(64 KB)要求。數(shù)據(jù)需解凍后訪問,解凍時間根據(jù)數(shù)據(jù)大小和選擇的解凍模式?jīng)Q定,解凍會產(chǎn)生數(shù)據(jù)取回費(fèi)用。適用于需要超長時間存放的極冷數(shù)據(jù),例如因合規(guī)要求需要長期留存的數(shù)據(jù)、大數(shù)據(jù)及人工智能領(lǐng)域長期積累的原始數(shù)據(jù)、影視行業(yè)長期留存的媒體資源、在線教育行業(yè)的歸檔視頻等業(yè)務(wù)場景。


費(fèi)用組成

OSS服務(wù)費(fèi)用由存儲費(fèi)用、流量費(fèi)用、請求費(fèi)用、數(shù)據(jù)處理費(fèi)用、對象標(biāo)簽費(fèi)用、傳輸加速費(fèi)用、臨時存儲費(fèi)用、DDoS防護(hù)費(fèi)用組成:

其中,存儲費(fèi)用、流量費(fèi)用通常是OSS的主要費(fèi)用構(gòu)成,如不對各功能實現(xiàn)的計費(fèi)方式了解透徹,易于在不同場景實現(xiàn)的組合下收取相應(yīng)的成本。


定價詳情

存儲費(fèi)用根據(jù)存儲類型的不同,分為標(biāo)準(zhǔn)型單價、低訪問型單價、歸檔型單價、冷歸檔單價四種?;诓煌母呖捎脠鼍坝址譃楸镜厝哂嗪屯侨哂唷?/p>

OSS在本地冗余存儲的模式下,數(shù)據(jù)持久性設(shè)計可達(dá)11個9(四種模式),同城冗余則提供12個9的數(shù)據(jù)持久性,差別不大。本地冗余和同城冗余的主要區(qū)別在于能夠提供更高的服務(wù)可用性,以標(biāo)準(zhǔn)存儲類型為例,本地冗余的可用性為99.99%,而同城冗余的可用性達(dá)99.995%。如果服務(wù)可用性有較高要求的,可采用同城冗余方案提升系統(tǒng)可用性指標(biāo)。

OSS對象存儲的流量計費(fèi),通過內(nèi)、外網(wǎng)上傳到OSS不收取任何費(fèi)用,從同地域ECS(包括其它云服務(wù))使用內(nèi)網(wǎng)Endpoint,下載OSS的數(shù)據(jù)時同樣也不收取費(fèi)用。主要的流量部分包括外網(wǎng)流出流量及CDN流出流量。

外網(wǎng)流出流量根據(jù)時段分為閑時流量(00:00-08:00)及忙時流量(8:00-24:00)收取0.25元/GB和0.5元/GB費(fèi)用不等。

除此以外,若有跨可用區(qū)復(fù)制需求,如異地災(zāi)備或數(shù)據(jù)同步場景,根據(jù)不同的地域收費(fèi)策略略有差異,具體金額以官網(wǎng)為準(zhǔn)。


成本優(yōu)化


在了解了OSS的具體收費(fèi)場景之后,便可以有針對性的對OSS不同的使用場景有針對性的優(yōu)化配置,降低整體成本。

元數(shù)據(jù)管理

首先依然是成本優(yōu)化的基礎(chǔ),如何分好賬。這里可以使用到標(biāo)簽管理體系,為對應(yīng)的Bucket添加“部門”、“創(chuàng)建人”、“產(chǎn)品”、“系統(tǒng)”、“環(huán)境”等標(biāo)簽。可根據(jù)標(biāo)簽,針對特定不同的業(yè)務(wù)場景配置不同的策略模板。在很大的程度上,可以提升管理的精細(xì)化程度上。

版本控制策略

版本控制是針對存儲空間(Bucket)級別的數(shù)據(jù)保護(hù)功能。開啟版本控制后,針對數(shù)據(jù)的覆蓋和刪除操作將會以歷史版本的形式保存下來。當(dāng)錯誤覆蓋或者刪除Object后,能夠?qū)ucket中存儲的Object恢復(fù)至任意時刻的歷史版本。

版本控制功能本身不收取任何費(fèi)用,但對當(dāng)前版本和所有歷史版本的文件都會收取存儲費(fèi)用。以下列場景為例,說明使用版本控制時的存儲費(fèi)用(假定當(dāng)月有30天):

當(dāng)月第1天:通過PutObject操作向某一存儲空間(Bucket)上傳了4 GB大小的Object,存儲類型為標(biāo)準(zhǔn)存儲(本地冗余)。當(dāng)月第16天:通過PutObject操作對同一個Bucket中的同一個Object寫入5 GB的數(shù)據(jù)。

分析上述Object當(dāng)月的存儲費(fèi)用時,請注意在第16天對Object寫入5 GB數(shù)據(jù)時,第1天上傳的4 GB的Object并未從Bucket中刪除。相反,4 GB作為Object的歷史版本在Bucket中存儲了30天,而5 GB作為Object的最新版本在Bucket中存儲了15天。按照存儲費(fèi)用的按量付費(fèi)計算規(guī)則得知,該Object當(dāng)月的存儲費(fèi)用為:4 GB×0.12元/GB/月+5 GB×0.12元/GB/月÷2=0.78元。

從上例中可以看到,當(dāng)存儲對象版本足夠多時,存儲容量的增長將翻倍增長。在使用上,如果存放靜態(tài)圖片需要做更新、刪除等動作,建議開啟版本控制,確保不會對數(shù)據(jù)誤操作。但版本控制功能不支持基于一定的版本數(shù)量對過期數(shù)據(jù)維護(hù)清理,只支持按照時間頻率歸檔清理,故對于歷史版本時效性要做一定的人工判斷。


生命周期管理

OSS支持設(shè)置生命周期(Lifecycle)規(guī)則,自動刪除過期的文件和碎片,或?qū)⒌狡诘奈募D(zhuǎn)儲為低頻或歸檔存儲類型,從而節(jié)省存儲費(fèi)用。在訪問對象存儲OSS的過程中,會產(chǎn)生大量的訪問日志,其中包括了請求目標(biāo)Bucket和對應(yīng)Object名稱的具體訪問時間。

針對訪問頻次較低的數(shù)據(jù),建議設(shè)置低頻、歸檔生命周期,實現(xiàn)bucket級別的治理。對于Bucket訪問頻次高,但是objcet訪問分布差異較大的數(shù)據(jù),建議進(jìn)行Object級別治理,可以按照訪問情況或者更新日期策略進(jìn)行治理。也可以通過前綴等方式進(jìn)行重要文件篩選。

通過將不同生命周期的數(shù)據(jù)差別化存放在不同的存儲類型,可有效降低數(shù)OSS的存儲成本。假設(shè)當(dāng)前有1PB的數(shù)據(jù)存儲在阿里云OSS上,在不做任何管理的情況下,一年成本將會是1*1024*1024*0.12/元/月*12=151萬支出。在做了優(yōu)化之后,當(dāng)數(shù)據(jù)按照生命周期歸檔之后,OSS上的存儲成本1*1024*1024*0.015/元/月之后,約為18萬8,降低成本百萬以上。


流量費(fèi)用

流量費(fèi)用的開銷主要來源于外網(wǎng)流出流量。對于業(yè)務(wù)層面的必要操作不可避免,可考慮優(yōu)化的場景主要有異地災(zāi)備場景,將數(shù)據(jù)同步放在空閑時段執(zhí)行可降低一半流量成本。

另外關(guān)于CDN的回源流量這部分,在沒有配置緩存策略的情況下,CDN的默認(rèn)緩存時間為[10,3600]秒內(nèi)。即10秒-1小時的緩存時間。具體的緩存時間計算公式為:t= (current_time - last_modified) * 0.1。換句話說:當(dāng)文件上傳OSS時間超過10小時(36000秒)后,文件被緩存時間將開始以每小時一次的頻率刷新。

可基于具體需求場景對特定的不會做更新操作的諸如圖片、視頻、語音等靜態(tài)數(shù)據(jù)在CDN上設(shè)置較長的緩存時間,如1天或1個月,降低CDN的回源流量。


購買資源包

存儲容量單位包SCU(Storage Capacity Unit)是一種預(yù)付費(fèi)存儲容量資源包,可用于抵扣多種云存儲產(chǎn)品存儲容量費(fèi)用。相比其他單一產(chǎn)品的存儲包,SCU使用更靈活,性價比更高。

資源包類型包括標(biāo)準(zhǔn)(本地/同城)存儲包、低頻(本地/同城)存儲包、歸檔存儲包、下行流量包、回源流量包和傳輸加速包這八種。

  • 標(biāo)準(zhǔn)(本地/同城)存儲包、低頻(本地/同城)存儲包、歸檔存儲包:主要指存儲空間內(nèi)存放的標(biāo)準(zhǔn)存儲類型文件所產(chǎn)生的存儲費(fèi)用。

  • 下行流量包:外網(wǎng)流出流量費(fèi)用:通過互聯(lián)網(wǎng)瀏覽或下載OSS數(shù)據(jù)所產(chǎn)生的外網(wǎng)流出流量費(fèi)用。

  • 回源流量包:CDN回源流出流量費(fèi)用:通過CDN服務(wù)層瀏覽或下載OSS數(shù)據(jù)所產(chǎn)生的回源流量費(fèi)用。

  • 傳輸加速包:使用傳輸加速域名訪問OSS產(chǎn)生的傳輸加速費(fèi)用。

資源包使用示例:

用戶小A購買了500 GB的中國大陸通用標(biāo)準(zhǔn)(LRS)存儲包和100 GB的中國大陸通用下行流量包,其6月份的資源使用量為:

  • 華東1(杭州)地域當(dāng)月標(biāo)準(zhǔn)存儲(本地冗余)類型文件存儲量為300 GB、外網(wǎng)流出流量110 GB、API請求次數(shù)10萬次。

  • 華東2(上海)地域當(dāng)月標(biāo)準(zhǔn)存儲(本地冗余)類型文件存儲量為100 GB、標(biāo)準(zhǔn)存儲(同城冗余)類型文件存儲量為200 GB。

關(guān)于資源包的購買需要注意以下細(xì)節(jié):

  • 購買OSS資源包后,僅對于增量的存儲數(shù)據(jù)生效,存量數(shù)據(jù)不在資源包統(tǒng)計范圍之內(nèi)。

  • 由于資源包的使用邏輯僅對增量數(shù)據(jù)有效,若在初期購買較大資源包將同樣存在大量時效性的浪費(fèi)。建議在前期購買規(guī)格較小資源包,通過疊加和升級方式對資源包的容量擴(kuò)容。疊加和升級方式在細(xì)節(jié)層面有所不同,疊加可在原資源包的基礎(chǔ)上購買相同規(guī)格累加;升級則僅可購買更高規(guī)格。對于不同的類型資源包的支持邏輯不完全一致。可參考官網(wǎng)材料。

  • 資源包抵扣規(guī)則只能在同賬號下使用,不可跨賬號使用。

  • 資源包使用對應(yīng)賬號全量bucket,不對應(yīng)bucket關(guān)聯(lián),只要符合資源包抵扣規(guī)則的均會生效。


該用戶資源包使用情況如下:



總結(jié)


本文總結(jié)了阿里云OSS成本優(yōu)化的相關(guān)方法。了解阿里云OSS對象存儲的計費(fèi)方式,分析在各場景下如何通過不同存儲類型轉(zhuǎn)換、對象生命周期管理、版本控制策略、增加CDN緩存時間,結(jié)合OSS資源包降低OSS整體使用成本。

立即登錄,閱讀全文
版權(quán)說明:
本文內(nèi)容來自于云原生Lab,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個人觀點(diǎn),不代表快出海對觀點(diǎn)贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
相關(guān)文章
阿里云助力《誅仙世界》端游正式開服!
阿里云助力《誅仙世界》端游正式開服!
近?,完美世界游戲歷時多年打造的新國?仙俠MMORPG端游《誅仙世界》在阿?云上正式開服。
阿里云
云服務(wù)
2024-12-292024-12-29
一文詳解阿里云AI大基建
一文詳解阿里云AI大基建
面向AI時代,阿里云基礎(chǔ)設(shè)施是如何創(chuàng)新與發(fā)展的?計算、網(wǎng)絡(luò)、存儲、服務(wù)器、集群、可觀測等,阿里云全新升級的AI Infra到底有哪些重磅更新?
阿里云
云服務(wù)
2024-11-022024-11-02
AI時代云安全新范式,阿里云安全能力全線升級!
AI時代云安全新范式,阿里云安全能力全線升級!
AI時代,云安全面臨著新的挑戰(zhàn),不僅要持續(xù)面對以往的傳統(tǒng)問題,更需要全新理念落地于產(chǎn)品設(shè)計、技術(shù)演進(jìn)、架構(gòu)設(shè)計,才能實現(xiàn)效果、性能、和成本的最優(yōu)解。
AI
阿里云
云服務(wù)
2024-09-272024-09-27
連續(xù)四年!阿里云領(lǐng)跑中國公有云大數(shù)據(jù)平臺
連續(xù)四年!阿里云領(lǐng)跑中國公有云大數(shù)據(jù)平臺
近日,國際數(shù)據(jù)公司(IDC)發(fā)布《中國大數(shù)據(jù)平臺市場份額,2023:數(shù)智融合時代的真正到來》報告——2023年中國大數(shù)據(jù)平臺公有云服務(wù)市場規(guī)模達(dá)72.2億元人民幣,其中阿里巴巴市場份額保持領(lǐng)先,占比達(dá)40.2%,連續(xù)四年排名第一。
阿里云
云服務(wù)
2024-09-182024-09-18
優(yōu)質(zhì)服務(wù)商推薦
更多
個人VIP