使用Blob Index for Azure Storage管理和查找數(shù)據(jù)

來源:Microsoft Azure
作者:Huang Huang
時(shí)間:2020-08-03
2574
Blob索引通過支持所有Blob類型(Block Blob,Append Blob和Page Blob)減輕了數(shù)據(jù)管理和查詢問題。Blob索引通過熟悉的Blob存儲(chǔ)端點(diǎn)和API公開,可以輕松地在同一服務(wù)上存儲(chǔ)和訪問數(shù)據(jù)索引和分類索引,以降低應(yīng)用程序的復(fù)雜性。

Blob索引-一種托管二級索引,可以存儲(chǔ)多維對象屬性以描述Azure Blob存儲(chǔ)的數(shù)據(jù)對象。建立在Blob存儲(chǔ)之上,Blob Index為所有工作負(fù)載提供一致的可靠性,可用性和性能。Blob Index提供了本機(jī)對象管理和過濾功能,使您可以基于在數(shù)據(jù)上設(shè)置的屬性標(biāo)簽對數(shù)據(jù)進(jìn)行分類和查找。

使用Blob索引管理和查找數(shù)據(jù)

隨著數(shù)據(jù)集變得越來越大,在海量數(shù)據(jù)中查找特定的相關(guān)對象可能會(huì)變得困難且令人沮喪。以前,客戶端使用ListBlobs API一次檢索5000條詞典記錄,解析列表,然后重復(fù)進(jìn)行直到找到所需的Blob。一些用戶還求助于管理單獨(dú)的查找表以查找特定對象。這些單獨(dú)的表可能不同步,從而增加了成本,復(fù)雜性和挫敗感??蛻舨槐?fù)?dān)心數(shù)據(jù)組織或索引表管理,而專注于構(gòu)建功能強(qiáng)大的應(yīng)用程序來發(fā)展業(yè)務(wù)。

Blob索引通過支持所有Blob類型(Block Blob,Append Blob和Page Blob)減輕了數(shù)據(jù)管理和查詢問題。Blob索引通過熟悉的Blob存儲(chǔ)端點(diǎn)和API公開,使您可以輕松地在同一服務(wù)上存儲(chǔ)和訪問數(shù)據(jù)索引和分類索引,以降低應(yīng)用程序的復(fù)雜性。

要填充Blob索引,您可以在數(shù)據(jù)上定義鍵值標(biāo)簽屬性,無論是上傳期間的新數(shù)據(jù)還是存儲(chǔ)帳戶中已有的現(xiàn)有數(shù)據(jù)。這些Blob索引標(biāo)記與您的基礎(chǔ)Blob數(shù)據(jù)一起存儲(chǔ)。然后,blob索引引擎會(huì)自動(dòng)讀取新標(biāo)記,對其進(jìn)行索引,然后將其公開給用戶可查詢的blob索引。然后,使用Azure門戶,REST API或SDK,可以發(fā)出FindBlobsByTags API調(diào)用,以指定一組條件。Blob存儲(chǔ)將返回僅由符合匹配條件的Blob組成的過濾結(jié)果集。

以下方案是Blob索引如何工作的示例:

1、在具有一百萬個(gè)Blob的存儲(chǔ)帳戶容器中,用戶上傳具有以下Blob索引標(biāo)簽的新Blob“B2”:<狀態(tài)=未處理,質(zhì)量=8K,源=RAW>。

2、Blob及其Blob索引標(biāo)記將持久保存到存儲(chǔ)帳戶,并且?guī)羲饕鏁?huì)在不久后公開新的Blob索引。

3、稍后,編碼應(yīng)用程序希望找到分辨率至少為4K的所有未處理媒體文件。它發(fā)出FindBlobs API調(diào)用以查找符合以下條件的所有Blob:<狀態(tài)=未處理AND質(zhì)量>=4K AND狀態(tài)==RAW>。

4、Blob索引快速返回僅Blob“B2”,這是與指定條件匹配的一百萬個(gè)Blob中唯一的Blob。編碼應(yīng)用程序可以快速開始其處理工作,從而節(jié)省了空閑的計(jì)算時(shí)間和金錢。

92cec444-9b04-4e3c-9250-2af9a918d97d.png

平臺(tái)功能與Blob Index的集成

Blob索引不僅可以幫助您分類,管理和查找Blob數(shù)據(jù),還可以與其他Blob服務(wù)功能(例如生命周期管理)集成。

使用新的blobIndexMatch作為過濾器,您可以將數(shù)據(jù)移動(dòng)到較冷的層,也可以根據(jù)應(yīng)用于您的Blob的標(biāo)簽刪除數(shù)據(jù)。這使您可以更精細(xì)地定義規(guī)則,并且僅在數(shù)據(jù)符合指定條件時(shí)才移動(dòng)或刪除數(shù)據(jù)。

以下示例生命周期管理策略僅適用于“視頻文件”容器中的塊Blob,并在一天后將對象分層用于歸檔存儲(chǔ),前提是Blob與狀態(tài)=“已處理”且源=“RAW”的Blob索引標(biāo)簽匹配。

7256a965-d07b-44ac-9480-45958a0982e9.png

帶Blob索引標(biāo)簽的條件Blob操作

在REST版本2019-10-10和更高版本中,大多數(shù)blob服務(wù)API現(xiàn)在都支持新的條件標(biāo)頭x-ms-if-tags,因此只有在滿足指定的blob索引標(biāo)簽條件的情況下,操作才會(huì)成功。如果不滿足條件,則操作將失敗,因此不會(huì)修改Blob。Blob Index的此功能可以幫助確保數(shù)據(jù)操作僅在顯式標(biāo)記的Blob上發(fā)生,并且可以防止多線程應(yīng)用程序無意中刪除或修改。

如何開始

要注冊博客索引預(yù)覽,請通過運(yùn)行以下PowerShell或CLI命令來提交請求以將該功能注冊到您的訂閱中:

使用PowerShell注冊

Register-AzProviderFeature-FeatureName BlobIndex-ProviderNamespace Microsoft.Storage

Register-AzResourceProvider-ProviderNamespace Microsoft.Storage

使用Azure CLI注冊

az feature register--namespace Microsoft.Storage--name BlobIndex

az provider register--namespace'Microsoft.Storage'

批準(zhǔn)請求后,F(xiàn)rance Central和France South中的任何現(xiàn)有或新的通用v2(GPv2)存儲(chǔ)帳戶都可以利用Blob Index的功能。與大多數(shù)預(yù)覽一樣,建議在達(dá)到一般可用性之前,不要將此功能用于生產(chǎn)工作負(fù)載。

立即登錄,閱讀全文
原文鏈接:點(diǎn)擊前往 >
文章來源:Microsoft Azure
版權(quán)說明:本文內(nèi)容來自于Microsoft Azure,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個(gè)人觀點(diǎn),不代表快出海對觀點(diǎn)贊同或支持。如有侵權(quán),請聯(lián)系管理員(zzx@kchuhai.com)刪除!
優(yōu)質(zhì)服務(wù)商推薦
更多
掃碼登錄
打開掃一掃, 關(guān)注公眾號后即可登錄/注冊
加載中
二維碼已失效 請重試
刷新
賬號登錄/注冊
個(gè)人VIP
小程序
快出海小程序
公眾號
快出海公眾號
商務(wù)合作
商務(wù)合作
投稿采訪
投稿采訪
出海管家
出海管家