華為云 BigDataPro 大數(shù)據(jù)離線分析解決方案

在數(shù)字化轉(zhuǎn)型過程中，如何激活數(shù)據(jù)要素潛力，推動網(wǎng)絡(luò)強國建設(shè)，加速構(gòu)建數(shù)字經(jīng)濟、數(shù)字社會、數(shù)字政府，推動整個生產(chǎn)方式、生活方式和治理方式的變革，是數(shù)字中國面臨的最大挑戰(zhàn)。而且，推進數(shù)據(jù)要素價值轉(zhuǎn)換當(dāng)然離不開云原生數(shù)據(jù)基礎(chǔ)設(shè)施的支持。其中，以存算分離、支持多協(xié)議彈性文件存儲、高效的數(shù)據(jù)計算技術(shù)為代表，新技術(shù)的應(yīng)用將幫助不同行業(yè)的企業(yè)用戶最大程度地釋放數(shù)據(jù)價值。

存儲分離釋放無限數(shù)。

大數(shù)據(jù)技術(shù)最初以計算機和存儲包的形式出現(xiàn)，強調(diào)數(shù)據(jù)接近計算，以HDFS+MapReduce數(shù)據(jù)管理方式為核心的技術(shù)，目前，大數(shù)據(jù)技術(shù)有了進一步的發(fā)布，計算機、存儲包和存儲包向存算分離設(shè)計方向發(fā)展，使得Hive,HBase等大數(shù)據(jù)應(yīng)用迎來新的發(fā)展機遇。

結(jié)合華為云BigDataPro大數(shù)據(jù)離線分析解決方案，獨立擴展存儲，從而減少了不必要的資源浪費。華為云BigDataPro通過對存儲進行擴展，消除了對保留容量的浪費，多種協(xié)議支持也減少了數(shù)據(jù)重復(fù)重復(fù)現(xiàn)象。獨立的存算、分布式存儲跨可用區(qū)容災(zāi)，使數(shù)據(jù)的持久性提高到12個9，數(shù)據(jù)的可靠性更加可靠。

這一完全相反的變化，從數(shù)據(jù)接近計算到今天的存算分離，難道大家也會覺得奇怪嗎？故事情節(jié)“顛倒”的主要原因是什么？

抑或，存算分離是否仍能滿足接近數(shù)據(jù)計算的需求？

因此，我還向華為咨詢了云計算存儲服務(wù)總經(jīng)理崔林威。

樸茨茅斯表示：存算分離仍能滿足類似近數(shù)據(jù)計算的需要，其中最大的原因就是網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，這為存算分離奠定了基礎(chǔ)。不管是接近數(shù)據(jù)的計算，或者存算分離都不會改變上層HDFS+MapReduce的結(jié)構(gòu)。華為云BigDataPro相較于傳統(tǒng)方式，在存儲隔離的基礎(chǔ)上，提供了多協(xié)議互通、高可靠性等優(yōu)點。

突破傳統(tǒng)協(xié)議限制的多彈性文件存儲器。

SFS(ScalableFileService)是一個彈性的文件服務(wù)，它不僅能提供大數(shù)據(jù)、文件接口、如為云中MRS,DLI等數(shù)據(jù)分析服務(wù)提供存儲服務(wù)，通過NFS/CIFS協(xié)議或POSIX客戶機部署在云中的視頻編輯、基因分析、儲層模擬、提供數(shù)據(jù)設(shè)計模擬等軟件。

「可將資料解讀為一瓶礦泉水，跨協(xié)議查訪亦可理解數(shù)數(shù)。」崔林威說。

SFS是國內(nèi)第一家支持NFS/CIFS/對象/大數(shù)據(jù)等多協(xié)議接口的存儲服務(wù)。它是一個高性能文件存儲(NAS)，用于基因分析、視頻制作/繪制、地球物理、文件共享、業(yè)務(wù)場景，如內(nèi)容和Web服務(wù)，提供共享的數(shù)據(jù)訪問存儲服務(wù)。SFS突破了傳統(tǒng)NAS只有私有數(shù)據(jù)存儲協(xié)議的限制。

舉例來說，在視頻制作/渲染場景中，華為云和MangTV正在探索一種成本更低、更具實用性的播放計劃，以創(chuàng)建業(yè)界第一個基于云服務(wù)的4K綜藝節(jié)目——“MangoTV”。

由于SFS混合云解決方案可以兼容對象接口特性，通過對象存儲直接將攝像視頻上傳到華為云，在云上通過文件接口對視頻進行轉(zhuǎn)碼、合成、調(diào)色、等一系列處理后，直接通過對象存儲器播放。與自行構(gòu)建IT系統(tǒng)相比，節(jié)目制作時間減少了50%，按需付費云資源可以節(jié)約90%的初期投資。身為電視觀眾的她，能看到妹妹們清晰的服裝細節(jié)和每一條睫毛，讓影片的質(zhì)感得以在對周期要求高、成本控制嚴(yán)格的綜藝節(jié)目中呈現(xiàn)。