大數(shù)據(jù)時(shí)代,數(shù)據(jù)被視作金礦。
但要想從礦石中煉出真金,面臨的困難包括但不限于:
·數(shù)據(jù)量大且類型多樣,如何存儲(chǔ)、管理以及分析?
·數(shù)據(jù)孤島現(xiàn)象嚴(yán)重,如何互聯(lián)互通?
·……
為了解決這個(gè)問題,數(shù)據(jù)湖成為了不少企業(yè)和機(jī)構(gòu)發(fā)掘數(shù)據(jù)價(jià)值的新探索。
近日,中國(guó)銀行UDP-Dlake數(shù)據(jù)湖平臺(tái)正式投產(chǎn)上線,基于騰訊云大數(shù)據(jù)套件TBDS打造。
這個(gè)“湖”,幫助中國(guó)銀行首次實(shí)現(xiàn)了全行數(shù)據(jù)資產(chǎn)匯集一處,能夠?yàn)橹袊?guó)銀行統(tǒng)一數(shù)據(jù)分析層、展現(xiàn)層、數(shù)據(jù)沙箱等探索提供平臺(tái)支撐,也為沉淀和深度挖掘全行數(shù)據(jù)資產(chǎn)打下了堅(jiān)實(shí)技術(shù)基礎(chǔ)。
目前,該系統(tǒng)已經(jīng)實(shí)現(xiàn)了對(duì)中行核心、信貸、渠道、信用卡、中間業(yè)務(wù)、反欺詐、支付、手機(jī)銀行等278個(gè)源系統(tǒng)數(shù)據(jù)文件的全面覆蓋。
等等,我們先科普一下數(shù)據(jù)湖:
簡(jiǎn)單來說,數(shù)據(jù)湖就是一個(gè)能夠把“各種數(shù)據(jù)”進(jìn)行集中存儲(chǔ)并進(jìn)行處理分析的架構(gòu)。
數(shù)據(jù)湖能夠存儲(chǔ)任意類型的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
同時(shí),數(shù)據(jù)湖還具備完善的數(shù)據(jù)管理能力,多樣化的數(shù)據(jù)分析能力以及數(shù)據(jù)生命周期管理能力。
數(shù)據(jù)湖的出現(xiàn),與數(shù)據(jù)類型和數(shù)量越來越多,人們對(duì)數(shù)據(jù)的需求越來越復(fù)雜有關(guān)。傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫只能夠處理結(jié)構(gòu)化數(shù)據(jù),二者相互配合的數(shù)據(jù)存儲(chǔ)分析模式逐漸吃力。
中國(guó)銀行UDP-Dlake數(shù)據(jù)湖平臺(tái),是中國(guó)銀行為了探索發(fā)揮金融業(yè)數(shù)據(jù)要素價(jià)值,推進(jìn)科技創(chuàng)新和數(shù)字化轉(zhuǎn)型的一項(xiàng)重要舉措。
平臺(tái)以數(shù)據(jù)資產(chǎn)為核心,聚焦數(shù)據(jù)的接入、半結(jié)構(gòu)化數(shù)據(jù)解析、數(shù)據(jù)清洗和數(shù)據(jù)存儲(chǔ)四大能力,將為中國(guó)銀行搭建離線文本接入、文件湖、緩沖區(qū)和貼源層為主體的數(shù)據(jù)治理體系。
在這個(gè)“湖”的建設(shè)中,中國(guó)銀行繼續(xù)深化了與騰訊云大數(shù)據(jù)套件TBDS產(chǎn)品的合作:
一、利用其大數(shù)據(jù)分布式文件系統(tǒng)技術(shù)棧,提升數(shù)據(jù)存儲(chǔ)及加工計(jì)算的橫向擴(kuò)展能力;
二、實(shí)現(xiàn)行內(nèi)數(shù)據(jù)統(tǒng)一采集,形成全面、準(zhǔn)確的數(shù)據(jù)底座,為全行數(shù)據(jù)資產(chǎn)“通、全、準(zhǔn)、用”打下堅(jiān)實(shí)基礎(chǔ);
三、獲得集數(shù)據(jù)集成、開發(fā)、處理、挖掘、可視化的“一站式的數(shù)據(jù)湖開發(fā)”能力和體驗(yàn)
未來,依托UDP-DLake數(shù)據(jù)湖平臺(tái),中國(guó)銀行將持續(xù)構(gòu)建數(shù)據(jù)層、分析層、展現(xiàn)層以及數(shù)據(jù)字典和協(xié)同平臺(tái)等三橫兩縱數(shù)據(jù)治理統(tǒng)一數(shù)據(jù)平臺(tái),持續(xù)推行全行數(shù)據(jù)同源出、全行數(shù)據(jù)全行用。
這也是騰訊與中國(guó)銀行簽署《全面戰(zhàn)略合作協(xié)議》以來,雙方又一個(gè)合作里程碑。在此之前,雙方在云計(jì)算、大數(shù)據(jù)、分布式數(shù)據(jù)庫、智能風(fēng)控、移動(dòng)協(xié)同辦公、智能客服等金融科技領(lǐng)域都進(jìn)行了深入合作。