基于亞馬遜云科技云原生數據倉庫Amazon Redshift，皮爺咖啡構建敏捷的數據治理架構

咖啡，正在成為新一代我國年輕人的國民飲料，它是打工人的“續(xù)命”能量飲，是都市青年的生活調劑。隨著咖啡消費已成為習慣，咖啡行業(yè)正在進一步下沉并向咖啡需求的品質化、精品化升級?？Х犬a業(yè)正在我國加速奔跑，以嶄新的面貌快速發(fā)展、成長。

皮爺咖啡（Peet’s Coffee）是美國精品咖啡品牌，于2017年進入中國，為中國消費者帶來傳統(tǒng)經典咖啡飲品，并特別呈現更加豐富的品質咖啡飲品體驗。通過深入應用亞馬遜云科技云原生數據庫產品Amazon Redshift以及Amazon Database Migration Service（Amazon DMS）等數據庫產品，皮爺咖啡在1個月內，快速構建了敏捷的數據架構，加速數據治理進程。

皮爺咖啡采用的亞馬遜云科技的產品及服務包括：Amazon Redshift,Amazon Kinesis Data Streams,Amazon Lambda,Amazon Glue,Amazon Athena,Amazon Lake formation,Amazon DMS。

機會 未經治理的數據“一口水，一口井”

皮爺咖啡是包裝和連鎖咖啡巨頭JDE旗下的精品咖啡品牌，始終秉承著打造極致咖啡體驗的理念。在中國，皮爺咖啡也在迅速發(fā)展，伴隨著業(yè)務的迅速擴張，皮爺咖啡迅速意識到需要構建對應的數據治理機制，去建設大數據平臺。皮爺咖啡數據架構師馮亞東強調：“2023年是皮爺咖啡的數字化里程碑的一年，我們對數據治理的要求非常明確，就是敏捷。敏捷的定義是：沒什么做不了，沒什么不能改，不需要從頭來，不需要等太久。我們做數據，數據驅動是繞不開的話題，如果驅動不好做，十有八九是不夠敏捷。”

皮爺咖啡對于數據治理的要求非常明確：打破數據孤島，構建敏捷的數據系統(tǒng)，具備高效的數據整合與流動能力，實現業(yè)務部門對數據平臺建設的較高參與度。在這之中，主要挑戰(zhàn)有如下幾點：

·業(yè)務數據庫繁雜、分散：由于歷史原因，皮爺業(yè)務數據庫有本地IDC的服務器、也包含其他云平臺的服務器，數倉種類包含RDB、NoSQL等，種類繁多，場景類別多樣。因此需要一個通用的、非線性方式解決數據集成問題；

·數據治理：數據血緣元數據產品的核心能力，是大數據系統(tǒng)的老大難問題。數據血緣管理、數據質量監(jiān)控、數據指標管理，都需要優(yōu)化迭代，并適配皮爺咖啡的開源解決方案；

·數據應用：皮爺咖啡在搭建數據中臺的關鍵思考就是需要滿足現有場景，并賦能業(yè)務人員可以省心省時省力運用和分析數據。

“皮爺咖啡基于云原生數據倉庫Amazon Redshift與dbt?構建了敏捷的數據治理架構。在這套架構下，我們在2分鐘之內可以完成兩天增量數據的全部計算處理過程。”

馮亞東 皮爺咖啡數據架構師

解決方案 1個月構建敏捷彈性的智能湖倉架構，打破數據孤島

針對以上痛點，亞馬遜云科技與皮爺咖啡進行深入討論，最終確認了圍繞“以訂單系統(tǒng)為核心的數據主線”完成一期開發(fā)，添枝加葉，完善服務。

數據攝入：Serverless免運維架構，構建數據攝入能力

針對于皮爺咖啡多樣的數據源類型，亞馬遜云科技將數據源分成三種類別：面對熱數據、結構化數據，也是高實時要求的數據，皮爺咖啡充分利用Amazon DMS自動化遷移功能，實現數據庫和分析工作負載的快速遷移和CDC（自動數據攝?。⒈M可能減少停機時間和杜絕數據丟失，并經由Amazon DMS直接進入云原生數據倉庫Amazon Redshift進行分析；面對企業(yè)應用端、更加復雜的非結構化熱數據，則通過Amazon Kinesis Data Streams進行實時的流數據分析，并通過Serverless架構的Amazon Lambda，對數據進行處理；而面對冷數據、存取比比較低的非結構化數據，則通過Amazon Glue存儲在數據湖Amazon S3中，從而降低計算成本和存儲成本，最終實現良好的冷、熱、溫數據分層和隔離。

皮爺咖啡基于亞馬遜云科技的系統(tǒng)架構示意圖

數據分析：運用冷熱分離的智能湖倉架構實現降本增效

為了將不同結構、不同類型、不同來源的皮爺咖啡相關數據匯總起來并加以分析、獲得見解，亞馬遜云科技運用Amazon S3、Amazon Lake formation、Amazon Redshift構建起了冷熱分離的湖倉一體架構，數據通過Amazon S3在亞馬遜云科技體系及開源體系流轉。其中，云原生數據倉庫Amazon Redshift可提供強大的SQL功能，對智能湖倉存儲內的超大型數據集進行快速在線分析處理（OLAP）。

此外，該數據庫還提供并發(fā)擴展功能，可在幾秒鐘內啟動更多瞬態(tài)集群，借此支持幾乎無限數量的并發(fā)查詢，最終在Amazon Redshift的幫助下，皮爺咖啡能夠輕松實現2分鐘之內完成兩天增量的計算任務。馮亞東肯定道：“現階段我們積累了皮爺咖啡從成立到現在所有時期不同的迭代版本數據的全面打通，不同數據源都落地在Amazon Redshift節(jié)點中，實現了數據的聯邦查詢?！?/p>

最后，冷熱分離的湖倉一體架構支持分層存儲，從而幫助皮爺咖啡實現成本的高度優(yōu)化，數據湖與數據倉庫之間的原生集成，可以允許客戶從倉庫存儲中移出大量訪問頻率較低的歷史數據，并降低存儲成本。

數據開發(fā)：開源DBT構建數據開發(fā)流程，實現數據血緣

針對于數據開發(fā)層面，基于Amazon Redshift Data Sharing的能力，數據開發(fā)工程師可以在不同的Redshift集群之間共享數據，并在這個過程中對數據進行脫敏。

憑借該能力，皮爺咖啡的開發(fā)工程師可以基于開源工具DBT（Data Build Tool）進行數據開發(fā)，形成數據管道腳本。并在開發(fā)結束后，經過CI/CD（持續(xù)集成，持續(xù)部署）流程進行數據提交，保障提交到生產環(huán)境的數據沒有質量問題，最終，將整個數據的語義層信息，包括數據目錄、血緣關系、數據質量檢測的結果都通過統(tǒng)一的途徑發(fā)布給數據的消費者——也就是業(yè)務人員，讓業(yè)務人員可以快速根據語義信息，業(yè)務含義搜索到數據資產，查看數據質量，并通過血緣關系找到數據的來龍去脈，從而對數據進行分析。

成果 優(yōu)雅、敏捷數據架構，讓咖啡師也能上手做數據分析

憑借亞馬遜云科技智能湖倉架構，皮爺咖啡實現了數據資產的快速落地，從規(guī)劃到整個中臺系統(tǒng)搭建完成，皮爺咖啡只用了1個月的時間就實現了生產數據的上線，如果按照傳統(tǒng)的方式進行建設，這個時間可能會延長30%-40%。

現如今，皮爺咖啡的業(yè)務單元正在逐步接入大數據平臺中，包含HR系統(tǒng)（人力資源管理系統(tǒng)）、訂單管理系統(tǒng)、ERP系統(tǒng)（企業(yè)資源計劃）、會員中心、訂單中心以及營銷中心等。以DBT為例，該系統(tǒng)中，皮爺咖啡目前已經可以提供超過260個模型為業(yè)務部門使用，實現了數據分析的工程化、數據中臺的產品化，并提供給更多的業(yè)務部門復用。正如馮亞東所預言的那樣，皮爺咖啡的大數據平臺正在枝繁葉茂的方向邁進。

在談到敏捷的數據治理架構為皮爺咖啡帶來的收益時，馮亞東提到了“融合創(chuàng)新”為我們講述了一個咖啡師的故事：“4月份新加入數據團隊的成員，原先是一位咖啡師。在構建好數據中臺后，現在BI層面的問題，我已經完全不用關注了，這位咖啡師——現在是數據分析師同事，他已經可以完全可以自主對接需求，實現了BPIT（業(yè)務流程信息化）。這得益于我們基于亞馬遜云科技解決方案所設計出的，對于架構設計的分層與良好隔離，可以讓業(yè)務人員以較低門檻參與到業(yè)務中來，讓數據變的簡單、有親和力?！?/p>

未來，皮爺咖啡將會繼續(xù)基于一條數據主線的架構，打開局面，基于Data Vault建模方法，對來自多個系統(tǒng)的的數據進行長期歷史存儲，添加更多功能，讓整個技術架構向更優(yōu)雅的方向演進。

關于皮爺咖啡

皮爺咖啡（Peet’s Coffee）是美國精品咖啡品牌，于2017年進入中國，為中國消費者帶來傳統(tǒng)經典咖啡飲品，并特別呈現更加豐富的品質咖啡飲品體驗。通過深入應用亞馬遜云科技云原生數據庫產品Amazon Redshift以及Amazon Database Migration Service（Amazon DMS）等數據庫產品，皮爺咖啡在1個月內，快速構建了敏捷的數據架構，加速數據治理進程。皮爺咖啡采用的亞馬遜云科技的產品及服務包括：Amazon Redshift,Amazon Kinesis Data Streams,Amazon Lambda,Amazon Glue,Amazon Athena,Amazon Lake formation,Amazon DMS。