Storage Transfer Service 現(xiàn)在支持無服務(wù)器實時復制功能。
谷歌云的客戶希望利用存儲傳輸服務(wù) （STS） 提供的所有優(yōu)勢實時移動數(shù)據(jù) - 調(diào)度、重試、校驗和、詳細信息日志等。 為了在云存儲桶之間順利地復制數(shù)據(jù)，新推出的事件驅(qū)動傳輸是一個極其強大的解決方案，幫助您自動化數(shù)據(jù)傳輸和處理任務(wù)，從而節(jié)省時間和資源。此功能的另一個用例是跨云分析?？蛻粜枰獙?shù)據(jù)從 AWS S3 自動實時復制到 Cloud Storage，以利用 Google Cloud 的分析和機器學習功能。
引入事件驅(qū)動傳輸
STS 現(xiàn)在提供對事件驅(qū)動傳輸?shù)念A(yù)覽支持——無服務(wù)器實時復制功能，可將副本從 AWS S3 移動到云存儲，并在多個云存儲桶之間復制數(shù)據(jù)。
為了執(zhí)行事件驅(qū)動傳輸，STS 依賴于 Pubsub 和 SQS?？蛻舯仨氃O(shè)置事件通知并授予 STS 訪問此隊列的權(quán)限。使用新字段 - “事件流” - 在傳輸作業(yè)中，客戶可以指定事件流名稱并控制 STS 何時開始和停止偵聽來自該流的事件。
創(chuàng)建傳輸作業(yè)后，STS 開始使用來自源的對象更改通知。任何對象更改或上傳現(xiàn)在都會觸發(fā)更改通知，服務(wù)會實時根據(jù)該通知將對象復制到目的地。對于在數(shù)據(jù)新鮮度具有重要業(yè)務(wù)價值的場景中使用 STS 批量傳輸?shù)目蛻魜碚f，這是個好消息：低 RPO 備份、事件驅(qū)動分析、實時遷移等。對于批量傳輸，STS 從工作發(fā)現(xiàn)開始——列出源和最低頻率為 1 小時的目的地，這對于包含數(shù)十億個對象的桶來說可能很耗時。因此，對于大型存儲桶，在源中創(chuàng)建的新對象數(shù)小時內(nèi)不會反映在目標中。相比之下，事件驅(qū)動的傳輸可以在源創(chuàng)建和更改對象后的幾分鐘內(nèi)將數(shù)據(jù)復制到目標。
通過事件驅(qū)動的傳輸，您只需點擊幾下即可在存儲桶之間設(shè)置自動、持續(xù)的數(shù)據(jù)復制。它具有一系列支持功能，包括基于前綴的過濾、處理重試、校驗和、通過 Cloud Logging 的詳細傳輸日志以及通過 Cloud Monitoring 的進度跟蹤。除了易于設(shè)置和使用之外，它還具有高度可擴展性和靈活性，允許在同一項目的存儲桶之間、不同項目之間甚至不同云存儲區(qū)域和大洲之間復制數(shù)據(jù)。
配置事件驅(qū)動傳輸
您可以通過三個步驟在 Cloud Storage 存儲桶之間創(chuàng)建事件驅(qū)動的傳輸：- 創(chuàng)建一個 pubsub 訂閱來監(jiān)聽 Cloud Storage 存儲桶上的變化
- 為 STS 分配權(quán)限以在存儲桶之間復制數(shù)據(jù)并收聽此 pubsub 訂閱
- 使用事件流配置創(chuàng)建傳輸作業(yè)
為了進一步簡化這一點，這里是如何使用gcloud 命令行工具使用事件驅(qū)動傳輸?shù)难菥殹?nbsp;
首先，為源 Cloud Storage 存儲桶創(chuàng)建一個Pub/Sub 通知，并為主題創(chuàng)建一個請求訂閱：
將SOURCE_BUCKET_NAME替換為您的源存儲桶的名稱，將TOPIC_NAME替換為您要創(chuàng)建的主題的名稱，將SUBSCRIPTION_ID替換為您要創(chuàng)建的訂閱的名稱。STS 將使用此訂閱來讀取有關(guān)源存儲桶中對象更改的消息。
STS 使用Google 托管服務(wù)帳戶在 Cloud Storage 存儲桶之間執(zhí)行傳輸。對于新項目，可以通過調(diào)用googleServiceAccounts.get API 來配置此服務(wù)帳戶。確保分配以下角色或等效權(quán)限：
最后一步，使用 EventStream 配置創(chuàng)建一個事件驅(qū)動的傳輸作業(yè)。傳輸作業(yè)根據(jù)從源生成的事件通知協(xié)調(diào)源和目標之間的數(shù)據(jù)移動，
將SOURCE _ BUCKET_NAME替換為源存儲桶的名稱，將 DESTINATION _ BUCKET _ NAME 替換為目標存儲桶的名稱，將 SUBSCRIPTION _ ID 替換為訂閱 ID，格式為 projects / / subscriptions / 。這會創(chuàng)建一個傳輸作業(yè)，等待 Pub / Sub 訂閱的通知，并在收到源 Cloud Storage 存儲桶更改通知后的幾分鐘內(nèi)復制數(shù)據(jù)。
如何開始
STS 事件驅(qū)動傳輸在所有 Google Cloud 區(qū)域均可用。執(zhí)行傳輸?shù)膮^(qū)域基于源 Cloud Storage 存儲分區(qū)的區(qū)域。使用 Storage Transfer Service 事件驅(qū)動傳輸無需支付額外費用。
立即登錄，閱讀全文
谷歌云
專欄
閩公網(wǎng)安備 35010202001226號
