阿里云 數(shù)據(jù)中臺的前世今生

數(shù)據(jù)中臺自14年至今，已然成為了2B、2G業(yè)務(wù)最熱門的話題，政府機(jī)構(gòu)、企事業(yè)單位、互聯(lián)網(wǎng)公司等進(jìn)行著數(shù)字化、數(shù)據(jù)化、智能化轉(zhuǎn)型。市場普遍認(rèn)為，阿里巴巴將自身數(shù)據(jù)中臺建設(shè)能力對外賦能是拉起本輪數(shù)據(jù)中臺浪潮的根本所在。

本文將帶你全面了解阿里巴巴做數(shù)據(jù)中臺的歷史。

1、緣起

在2014年以前，阿里巴巴有很多條業(yè)務(wù)線，都有自己的ETL團(tuán)隊，每個ETL團(tuán)隊建設(shè)和維護(hù)自己的數(shù)據(jù)體系。當(dāng)時許多人認(rèn)為，這種自下而上的自給自足能夠最高效地滿足業(yè)務(wù)需求。也因此，各個ETL團(tuán)隊之間缺乏相互信任，也缺乏最大化互通的可能性。

即便在2020年的很多公司，這種現(xiàn)象也普通存在。不同部門、不同業(yè)務(wù)、不同系統(tǒng)之間都有自己單獨(dú)的ETL處理體系，每個ETL體系只關(guān)注與自己垂直業(yè)務(wù)相關(guān)的需求，并從底向上完整支撐業(yè)務(wù)體系。這種情況的出現(xiàn)，大多是由于業(yè)務(wù)發(fā)展迅速，為了快速低成本的滿足業(yè)務(wù)數(shù)據(jù)需求，單獨(dú)拉出數(shù)據(jù)支撐團(tuán)隊造成的。

對于當(dāng)時的阿里巴巴而言，這種分散數(shù)據(jù)處理體系帶來了很多問題。以日志采集數(shù)據(jù)為例，就同時存在若干份數(shù)據(jù)：淘寶數(shù)據(jù)基礎(chǔ)層、廣告數(shù)據(jù)基礎(chǔ)層、搜索數(shù)據(jù)基礎(chǔ)層各有一份日志數(shù)據(jù)，不僅直接耗費(fèi)了非常多的存儲資源，更重要的是扼殺了數(shù)據(jù)中間層和數(shù)據(jù)應(yīng)用層等復(fù)用的可能性。

2014年以前阿里巴巴分業(yè)務(wù)自建數(shù)據(jù)體系的抽象圖

下圖展示的是2014年以前，阿里巴巴各個數(shù)據(jù)團(tuán)隊建設(shè)的數(shù)據(jù)任務(wù)關(guān)系圖。每個圓形代表著一條業(yè)務(wù)線的數(shù)據(jù)任務(wù)集合，任意兩個圓形之間的連線代表著兩者的關(guān)系。由此可見：數(shù)據(jù)處理流向是混亂的、無方向性的；數(shù)據(jù)管理是無序的，基本處于失控狀態(tài)；除了浪費(fèi)研發(fā)資源和存儲資源，也必然滿足不了業(yè)務(wù)需求。

阿里巴巴數(shù)據(jù)公共層建設(shè)之初計算環(huán)境1上的數(shù)據(jù)任務(wù)關(guān)系圖

業(yè)務(wù)猛烈發(fā)展與數(shù)據(jù)支撐能力不匹配產(chǎn)生了巨大的矛盾，也促使阿里巴巴內(nèi)部開始進(jìn)行數(shù)據(jù)公共層的建設(shè)，數(shù)據(jù)公共層旨在可持續(xù)地建設(shè)阿里巴巴智能大數(shù)據(jù)體系。

2、發(fā)展

-從零散的數(shù)據(jù)到統(tǒng)一的數(shù)據(jù)

從2014年起，阿里巴巴啟動數(shù)據(jù)公共層建設(shè)項目，以O(shè)neData體系特別是方法論為指導(dǎo)。

數(shù)據(jù)公共層建設(shè)初期是為了消除因"煙囪式"開發(fā)給業(yè)務(wù)帶來的困擾和技術(shù)上的浪費(fèi)。而OneData體系是保障和推進(jìn)項目建設(shè)的關(guān)鍵。OneData體系一方面致力于數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一，另一方面追求讓數(shù)據(jù)變?yōu)橘Y產(chǎn)而非成本。OneData體系除了方法論，還包含工具型產(chǎn)品、規(guī)范等，具體體現(xiàn)為：數(shù)據(jù)規(guī)范定義、數(shù)據(jù)模型定義、模型智能化設(shè)計、規(guī)范ETL開發(fā)、落實數(shù)據(jù)規(guī)范和模型定義的研發(fā)工具、對于整個體系的自動化調(diào)優(yōu)和監(jiān)控。

通過建設(shè)統(tǒng)一的ODS數(shù)據(jù)基礎(chǔ)層，建設(shè)基于業(yè)務(wù)應(yīng)用或需求來源端的抽象數(shù)據(jù)邏輯層來豐富數(shù)據(jù)中間層，允許數(shù)據(jù)應(yīng)用層的百花齊放來打造阿里巴巴數(shù)據(jù)公共層。從而將零散的數(shù)據(jù)變?yōu)榻y(tǒng)一的數(shù)據(jù)。

-從數(shù)據(jù)孤島到數(shù)據(jù)融通

在業(yè)務(wù)突飛猛進(jìn)發(fā)展過程中，不同的事業(yè)部、業(yè)務(wù)條線會為了快速實現(xiàn)需求，數(shù)據(jù)單獨(dú)定義、存儲、使用，從客觀性來講，每個發(fā)展壯大的企事業(yè)單位都避免不了數(shù)據(jù)孤島的產(chǎn)生。數(shù)據(jù)孤島不僅包含物理孤島（獨(dú)立存儲、維護(hù)、使用），而且包含邏輯孤島（定義不一致、計算邏輯不一致）。

阿里巴巴創(chuàng)新性的創(chuàng)建OneID體系，將所有業(yè)務(wù)范圍（電商、金融、廣告、物流、文化、教育、娛樂、設(shè)備、社交等）中的人、貨、場、物、錢等實體打通，解決體系內(nèi)邏輯性數(shù)據(jù)孤島問題。在阿里云的強(qiáng)力支撐下，集團(tuán)內(nèi)所有隔離數(shù)據(jù)進(jìn)行統(tǒng)一的存儲和管理，解決體系內(nèi)物理孤島問題。

從數(shù)據(jù)孤島到數(shù)據(jù)融通，使得數(shù)據(jù)擁有創(chuàng)造價值的可能性。

-從授人以魚到授人以漁

從以定制化開發(fā)的方式將數(shù)據(jù)交付到業(yè)務(wù)人員，到基于數(shù)據(jù)規(guī)范但需要配置，再到全鏈路數(shù)據(jù)打通，直到主題式服務(wù)，阿里巴巴一次次努力追求的正式從授人以魚到授人以漁。

2012年前后，服務(wù)于1688有超過300多個API，梳理后發(fā)現(xiàn)這些API之間無法整合，因為每個API只服務(wù)于一個業(yè)務(wù)應(yīng)用而不能被共享，API應(yīng)用的數(shù)據(jù)應(yīng)用層數(shù)據(jù)表也不能被共享。

從2012年至2016年，阿里巴巴通過OneService體系將API數(shù)據(jù)服務(wù)從物理表SQL模式升級至面向主體查詢邏輯模型的SQL模型，大大提升了系統(tǒng)的可用性，也使得數(shù)據(jù)中臺面向業(yè)務(wù)人員使用變成了現(xiàn)實，達(dá)到了授人以漁的目標(biāo)。

3、從數(shù)據(jù)成本到數(shù)據(jù)價值

對于大部分企業(yè)來說，業(yè)務(wù)系統(tǒng)創(chuàng)造的數(shù)據(jù)不僅需要占據(jù)大部分的存儲空間，而且還需要技術(shù)人員持續(xù)維護(hù)，是一筆不小的成本開支。

阿里巴巴致力于將數(shù)據(jù)從成本中心變?yōu)橘Y產(chǎn)中心，在業(yè)務(wù)數(shù)據(jù)化與數(shù)據(jù)業(yè)務(wù)化兩大方向，數(shù)據(jù)賦能業(yè)務(wù)、驅(qū)動創(chuàng)新四大業(yè)務(wù)場景上取得了豐碩的成功。

數(shù)據(jù)中臺賦能業(yè)務(wù)、驅(qū)動創(chuàng)新的四大典型場景包含：全局?jǐn)?shù)據(jù)監(jiān)控、數(shù)據(jù)化運(yùn)營、數(shù)據(jù)植入業(yè)務(wù)、數(shù)據(jù)業(yè)務(wù)化。

全局?jǐn)?shù)據(jù)監(jiān)控，如戰(zhàn)略決策的智能方案：最大限度降低數(shù)據(jù)分析的難度，最大程度提高數(shù)據(jù)分析效果，同時不動聲色中傳遞品牌價值，以高效優(yōu)質(zhì)地輔助戰(zhàn)略決策和數(shù)據(jù)化運(yùn)營。

雙十一數(shù)據(jù)大屏&銀泰互動大屏

數(shù)據(jù)化運(yùn)營，如用戶管理的智能方案：基于全鏈路全渠道的數(shù)據(jù)構(gòu)建、數(shù)據(jù)連接與萃取管理體系，對用戶進(jìn)行全生命周期的精細(xì)化管理（如智能CRM）。

2017年熱播的一部電視劇，該電視劇在優(yōu)酷土豆獨(dú)家播放十天，播放量就突破了60億次，屬于"現(xiàn)象級IP"。但這樣的"現(xiàn)象級IP"并不是偶然產(chǎn)生的，除資本投入因素外，數(shù)據(jù)化運(yùn)營在其中發(fā)揮了巨大的作用。

事前通過輿情分析鎖定IP，及時獨(dú)立采購IP；事中實時監(jiān)控流量變化、播放情況，及時調(diào)整流量入口，有針對性的推送用戶；事后，及時總結(jié)和復(fù)盤，進(jìn)行用戶沉淀，挖掘相似內(nèi)容，形成閉環(huán)。

*數(shù)據(jù)植入業(yè)務(wù)：智能圖像鑒別，智能客服。

通過數(shù)據(jù)模型算法，將圖像鑒別從手工變?yōu)樽詣踊?jié)省95%以上工作量。*

數(shù)據(jù)智能植入業(yè)務(wù)系統(tǒng)

數(shù)據(jù)業(yè)務(wù)化，如零售管理的智能方案：規(guī)避傳統(tǒng)零售的松散式管理，將庫存、定價、補(bǔ)貨、銷售等統(tǒng)一協(xié)同，整體提升線上線下零售體驗和效果（如生意參謀）。

4、集大成

到今天為止，阿里云數(shù)據(jù)中臺體系（核心產(chǎn)品：Dataphin、QuickBI、Quick Audience、Quick A+）經(jīng)歷了阿里幾乎所有業(yè)務(wù)的考驗，包含新零售、金融、物流、營銷、旅游、健康、大文娛、社交領(lǐng)域。在此過程中，云上數(shù)據(jù)中臺除了形成自己的內(nèi)核能力外，更向上"賦能業(yè)務(wù)前臺"、向下與"統(tǒng)一計算后臺"連接并與之融為一體，形成云上數(shù)據(jù)中臺業(yè)務(wù)模式。

同時，阿里巴巴從2018開始，將自身的數(shù)據(jù)中臺能力向外輸出賦能，對社會創(chuàng)造更多價值。