我們期望的 “精準”，談何容易

真實經(jīng)歷引發(fā)的思考

2022年5月2日下午12:05我收到了以下流調(diào)短信與電話：

[北京市疾控中心提示]您好！根據(jù)市衛(wèi)健委通報的新冠疫情，經(jīng)流行病學調(diào)查，您與感染者存在時空交集，有感染風險。請您及時向所在社區(qū)和單位報告....

此時，發(fā)現(xiàn)北京健康寶已彈窗，隨后接到流調(diào)工作人員電話。

流調(diào)員：“請問您4月30日下午2點是否去過朝陽區(qū)xx商場，xx餐館”

我：“稍等我看一下……，當時沒有去過您提到的幾個地點，但是去過幾個街區(qū)之外的xx吃飯，不過有可能開車經(jīng)過了您提到的地方”

流調(diào)員：“好的，那您去所在社區(qū)居委會報備，說明情況，持24小時核酸并簽署承諾書，然后可以解除彈窗?！?/p>

疫情期間當我們的身邊發(fā)現(xiàn)確診病例，大家都希望看到這些人的行動軌跡，如果發(fā)生了時空關聯(lián)，就會收到上面的信息和電話。目前，疫情防控已經(jīng)變成了我們生活的一部分。大家都希望通過精準科學的方式找到疫情防控和正常生活的平衡點，但又談何容易。我們可以從數(shù)據(jù)流向推測和分析事件的成因。然而極致的“精準”，需要數(shù)據(jù)量足夠多，包括手機位置信息，流調(diào)人員的排查信息，現(xiàn)場流調(diào)信息等等。同時，數(shù)據(jù)量暴漲也是需要面對的問題。

其實，近年來各個行業(yè)的數(shù)據(jù)量都呈幾何級增長。如今，隨著傳統(tǒng)業(yè)務轉(zhuǎn)型，新時代業(yè)務云計算、大數(shù)據(jù)分析、人工智能等新一代應用的出現(xiàn)，非結(jié)構(gòu)化數(shù)據(jù)并行文件存儲給各行各業(yè)帶來了諸多挑戰(zhàn)。

一家人工智能芯片的企業(yè)于2017年流片量產(chǎn)了中國首款邊緣AI芯片，2019年量產(chǎn)了中國首款車規(guī)級AI芯片，憑借30億美金估值成為全球估值最高的AI芯片獨角獸企業(yè)。然而，隨著企業(yè)逐漸從初創(chuàng)企業(yè)走向成熟，其在數(shù)據(jù)存儲、管理和調(diào)度等方面遇到了一些難題。

其中一個比較突出的問題是數(shù)據(jù)豎井。在發(fā)展初期，往往以項目方式組織資源和部署數(shù)據(jù)結(jié)構(gòu)，很多項目各有數(shù)據(jù)集群，形成了一個個數(shù)據(jù)豎井，或說數(shù)據(jù)孤島。對于需要“小步快跑”的初創(chuàng)企業(yè)而言，這種方式無可厚非，但隨著企業(yè)規(guī)模擴大，這些相互獨立的數(shù)據(jù)豎井就會給數(shù)據(jù)管理帶來比較大的挑戰(zhàn)。

從更大的層面看，他們也面臨跨多云數(shù)據(jù)調(diào)度的難題。對于AI企業(yè)而言，提高模型訓練效率是至關重要的，但訓練效率的提高不僅僅依賴于計算資源，也離不開數(shù)據(jù)的及時調(diào)度。由于GPU資源分布在多個公有云上和本地，當GPU資源不斷變化時，如何讓數(shù)據(jù)也能快速地跟隨變化隨需調(diào)度，也成為企業(yè)在數(shù)據(jù)管理方面的一個核心需求。

此外，隨著數(shù)據(jù)規(guī)模的快速增長，數(shù)據(jù)管理成本也與日俱增。之前是采用算存一體的方式，計算和存儲在一個一體機上實現(xiàn)，隨著數(shù)據(jù)規(guī)模增長，這種方案不僅會降低計算設備運行效率，而且成本也會高企不下，因此需要性價比更高的數(shù)據(jù)存儲方案來支持企業(yè)的長遠發(fā)展。

在醫(yī)療行業(yè)，信息化起步較早，在長期的發(fā)展過程中，各業(yè)務系統(tǒng)都針對初始單個業(yè)務模塊的需求陸續(xù)建設了很多“煙囪工程“。此外，醫(yī)療行業(yè)對數(shù)據(jù)合規(guī)要求有其特殊性，門診電子病歷往往需要保留15年以上。數(shù)據(jù)量的增長使得存儲成本難以控制，同時管理、擴展和維護數(shù)據(jù)在線訪問的復雜性大大提高。新一代工作負載，面臨數(shù)據(jù)存儲、數(shù)據(jù)集成、數(shù)據(jù)可訪問性、應用程序數(shù)據(jù)集成等問題，無法實現(xiàn)現(xiàn)代化應用程序；環(huán)境數(shù)據(jù)分散，存儲在太多不同的地理位置，沒有數(shù)據(jù)集成，沒有通用的管理能力，數(shù)據(jù)孤島使得數(shù)據(jù)查詢和使用異常困難。這就需要一個企業(yè)級的、真正的全球共享數(shù)據(jù)湖基礎架構(gòu)，更快交付洞察，底層存儲必須同時支持新時代的大數(shù)據(jù)和傳統(tǒng)的應用，具備安全性、可靠性和高性能。

數(shù)據(jù)管理之六大挑戰(zhàn)

為了應對云計算、大數(shù)據(jù)分析、人工智能等新一代應用，我們的企業(yè)往往在非結(jié)構(gòu)化數(shù)據(jù)存儲中遇到諸多挑戰(zhàn)：

挑戰(zhàn)1：當前架構(gòu)無法應對海量數(shù)據(jù)增長，無序擴展，存在嚴重的性能瓶頸。傳統(tǒng)的SAN文件系統(tǒng)和NAS文件系統(tǒng)，受限于其單個控制器的性能和元數(shù)據(jù)的處理方式，無法提供更高性能的IO訪問，NAS文件系統(tǒng)擴展方式是按照SAN或者NAS的控制器擴展，控制器之間不能實現(xiàn)并行IO操作，無法避免單機頭帶來的性能瓶頸，并因為文件目錄的名稱改變而導致應用重新定義。

挑戰(zhàn)2：數(shù)據(jù)孤島。企業(yè)超過50%的數(shù)據(jù)存放在離散的存儲系統(tǒng)中，企業(yè)環(huán)境的數(shù)據(jù)分散，存儲在太多不同的地理位置，數(shù)據(jù)孤島使得數(shù)據(jù)查詢和使用異常困難。數(shù)據(jù)量的增長使得存儲成本難以控制，同時管理、擴展和維護數(shù)據(jù)在線訪問的復雜性大大提高。

挑戰(zhàn)3：缺乏企業(yè)級的統(tǒng)一數(shù)據(jù)管理平臺。傳統(tǒng)的SAN文件系統(tǒng)和NAS文件系統(tǒng)本身不具備智能的、基于策略自動執(zhí)行的生命周期管理，需要借助單獨的軟件或者硬件實現(xiàn)數(shù)據(jù)的分層和備份，導致數(shù)據(jù)管理困難。

挑戰(zhàn)4：無法為未來前沿技術(shù)提供有效存儲支撐。如云計算的數(shù)據(jù)需求并行存儲能夠支持多云架構(gòu)，統(tǒng)一資源管理，數(shù)據(jù)安全和高可用。人工智能需求海量數(shù)據(jù)集存儲，大算力。大數(shù)據(jù)分析業(yè)務需求高效分析和高可用。

挑戰(zhàn)5：新技術(shù)帶來的潛在的基礎架構(gòu)“割裂”，沒有全局的統(tǒng)一命名空間，難以實現(xiàn)數(shù)據(jù)共享和安全共享。

挑戰(zhàn)6：無可靠的高可用、完整性。不能統(tǒng)一管理和部署，提升運維復雜度。不能支持存儲異構(gòu)，不同NAS機頭無法統(tǒng)一存儲空間。故障數(shù)據(jù)重構(gòu)開銷大，對性能影響較大。

高性能ESS給出最優(yōu)解

為了應對以上挑戰(zhàn)，IBM最新發(fā)布了基于Spectrum Scale的ESS3500，它包括以下特點：

1.極致的性能和可擴展性：可以從小規(guī)模開始構(gòu)建，然后逐步擴展性能和容量，無任何瓶頸，能夠提供極致的數(shù)據(jù)、元數(shù)據(jù)和閃存可擴展性。無瓶頸的架構(gòu)提高了性能，從而實現(xiàn)極大的吞吐量和低延遲訪問。IBM ESS 3500在每個單一節(jié)點上提供1PBe，吞吐量高達91GB/秒。

2.統(tǒng)一存儲，適用于集群、HDFS、文件、對象與容器環(huán)境。

3.加速AI訓練：配合NVIDIA DGX系統(tǒng)，AI訓練時間縮短140%。

4.統(tǒng)一命名空間。實現(xiàn)全球協(xié)作：Spectrum Scale通過主動文件管理分布式磁盤高速緩存技術(shù)，跨不同存儲和位置隨時隨地訪問數(shù)據(jù)，在數(shù)據(jù)中心或全球范圍內(nèi)實現(xiàn)應用加速。

5.數(shù)據(jù)完整性和安全性：認證、加密、安全和復制選項，用于滿足業(yè)務和法規(guī)需求。

最后，我想說的是……

各行各業(yè)的數(shù)字化難題不斷涌現(xiàn)，IBM伴隨很多客戶，一步步突破最新的AI和云計算的性能極限，成就了他們的創(chuàng)新和發(fā)展。疫情防控也一樣，不僅需要技術(shù)的支撐，也需要各方的共同努力、每個人的積極配合，希望世界早日恢復生機蓬勃。