導(dǎo)讀:GanosBase是李飛飛帶領(lǐng)的達(dá)摩院數(shù)據(jù)庫(kù)與存儲(chǔ)實(shí)驗(yàn)室聯(lián)合阿里云共同研發(fā)的新一代位置智能引擎;本次重磅升級(jí)為V4.0版本,推出首個(gè)云孿生時(shí)空數(shù)據(jù)庫(kù)。
隨著對(duì)地觀測(cè)技術(shù)、物聯(lián)網(wǎng)和數(shù)字孿生技術(shù)的快速發(fā)展,以BIM(建筑信息模型)、GIS(地理信息系統(tǒng))、時(shí)空移動(dòng)對(duì)象為代表的多維空間數(shù)據(jù)呈爆發(fā)式增長(zhǎng),成為新基建和數(shù)字化框架的重要基礎(chǔ)。從數(shù)字孿生工廠、數(shù)字孿生城市到數(shù)字孿生地球,多維空間數(shù)據(jù)不斷疊加,為數(shù)據(jù)存儲(chǔ)、智能處理與分析計(jì)算帶來(lái)極大挑戰(zhàn)。
云計(jì)算推動(dòng)數(shù)據(jù)庫(kù)向云原生快速演進(jìn),也為數(shù)據(jù)庫(kù)技術(shù)與數(shù)字孿生技術(shù)的結(jié)合提供了強(qiáng)大算力。從云原生(Cloud-Native)到云孿生(Cloud-Twin),作為數(shù)據(jù)處理的最核心系統(tǒng)——數(shù)據(jù)庫(kù)將開啟一個(gè)嶄新時(shí)代。本次發(fā)布的云孿生時(shí)空數(shù)據(jù)庫(kù)是GanosBase V4.0針對(duì)高維、動(dòng)態(tài)空間數(shù)據(jù)的存儲(chǔ)和處理進(jìn)行的重大能力升級(jí),底層支持阿里云RDS PG、PolarDB PG、ADB PG、Lindorm和DLA等不同數(shù)據(jù)庫(kù)產(chǎn)品。
GanosBase支持與不同數(shù)據(jù)庫(kù)產(chǎn)品適配
一 什么是云孿生時(shí)空數(shù)據(jù)庫(kù)
云原生指系統(tǒng)或應(yīng)用原生基于云而設(shè)計(jì),充分利用和發(fā)揮云平臺(tái)的彈性+分布式等優(yōu)勢(shì)。數(shù)字孿生(Digital Twin)簡(jiǎn)單說(shuō)就是對(duì)物理世界“鏡像”數(shù)字化描述,形象而言就是把物理世界搬進(jìn)計(jì)算機(jī)。而云孿生則是將數(shù)字孿生和云緊密結(jié)合,將數(shù)字孿生系統(tǒng)植根于云上,基于云原生架構(gòu)來(lái)設(shè)計(jì)。云孿生是數(shù)字孿生系統(tǒng)與云原生技術(shù)結(jié)合后的更高級(jí)形態(tài),是萬(wàn)物數(shù)字化技術(shù)承載的必然趨勢(shì)。
GanosBase是首個(gè)基于云原生數(shù)據(jù)庫(kù)+數(shù)字孿生引擎技術(shù)構(gòu)建的全新云孿生時(shí)空數(shù)據(jù)庫(kù),系統(tǒng)蘊(yùn)含孿生強(qiáng)內(nèi)核、融合大存儲(chǔ)和快速大計(jì)算三大設(shè)計(jì)理念。
孿生強(qiáng)內(nèi)核 將數(shù)字孿生引擎植入云原生數(shù)據(jù)庫(kù)系統(tǒng)內(nèi)核,實(shí)現(xiàn)新型復(fù)雜場(chǎng)景數(shù)據(jù)與高維多模計(jì)算一體化。
融合大存儲(chǔ) 基于統(tǒng)一時(shí)空位置框架,采用由底向上全新構(gòu)建的多維數(shù)據(jù)庫(kù)引擎,實(shí)現(xiàn)BIM+GIS+IoT數(shù)據(jù)超融合一站式管理。
快速大計(jì)算 以多維實(shí)體編碼和高效壓縮算法為基礎(chǔ),結(jié)合彈性多級(jí)并行計(jì)算框架,使多維數(shù)據(jù)人眼可讀、機(jī)器能懂,大規(guī)模3D/4D分析計(jì)算效率較傳統(tǒng)軟件提升百倍以上。
二 八大專業(yè)引擎實(shí)現(xiàn)多模超融合
單一模型已無(wú)法滿足當(dāng)前數(shù)字孿生新場(chǎng)景新應(yīng)用,GanosBase結(jié)合云原生數(shù)據(jù)庫(kù)系統(tǒng),從內(nèi)核底層從零開發(fā)多維多模數(shù)據(jù)處理引擎;截至V4.0,系統(tǒng)已包含幾何、柵格、軌跡、三維、點(diǎn)云、路徑、網(wǎng)格、快顯八大核心引擎能力,并通過持續(xù)升級(jí)完善,使數(shù)據(jù)庫(kù)原生支持10多大類多維多模數(shù)據(jù)的高效一體化存儲(chǔ)、查詢和分析計(jì)算。
GanosBase之八大核心引擎
三 五大重磅特性解讀
1 重新定義三維空間計(jì)算
建筑、道路設(shè)施、機(jī)器設(shè)備等各類物理實(shí)體的數(shù)字化精準(zhǔn)映射離不開三維空間建模。GanosBase V4.0全新加入了三維引擎,已將BIM、實(shí)景三維等多維空間數(shù)據(jù)的存儲(chǔ)、索引、查詢和分析處理能力納入云原生數(shù)據(jù)庫(kù),達(dá)到復(fù)雜場(chǎng)景百倍分析計(jì)算效率提升。系統(tǒng)采用了完全自研的meshflex“柔性網(wǎng)格”幾何構(gòu)型技術(shù),蘊(yùn)含靈活的三維幾何與場(chǎng)景表達(dá)方法??臻g幾何組織采用多層次結(jié)構(gòu)表達(dá),可嵌套組合基礎(chǔ)幾何元素實(shí)現(xiàn)復(fù)雜幾何模型。支持?jǐn)?shù)據(jù)庫(kù)內(nèi)置三維空間索引,千萬(wàn)級(jí)三維實(shí)體索引效率達(dá)到毫秒級(jí)。支持三維空間量測(cè)、空間分析,二/三/四維一體化分析計(jì)算,千萬(wàn)多邊形圖元組合分析效率相比傳統(tǒng)軟件加速100倍以上。
meshflex柔性網(wǎng)格幾何建模與高效三維計(jì)算
2 高級(jí)移動(dòng)對(duì)象處理
人、車、船、飛行器等移動(dòng)對(duì)象堪稱是構(gòu)成物理世界流動(dòng)的血液,是構(gòu)建數(shù)字孿生系統(tǒng)的重要一環(huán)。GanosBase是首個(gè)云原生4D(三維空間+時(shí)間)移動(dòng)對(duì)象數(shù)據(jù)庫(kù),具備對(duì)移動(dòng)對(duì)象的時(shí)空信息、專題屬性和行為事件的多模態(tài)存儲(chǔ)、索引和分析能力。V4.0提供了兩大功能升級(jí):
移動(dòng)對(duì)象冷熱多級(jí)存儲(chǔ):支持將表中指定的移動(dòng)對(duì)象數(shù)據(jù)offline透明存儲(chǔ)到諸如OSS(面向?qū)ο蟠鎯?chǔ))等的外部存儲(chǔ)介質(zhì)中,并保持SQL查詢?cè)L問透明。這一特性能保持所有數(shù)據(jù)在線的前提下,大幅降低存儲(chǔ)成本。以AIS船舶軌跡數(shù)據(jù)為例,可以節(jié)約90%以上的存儲(chǔ)空間。
軌跡分段索引:針對(duì)時(shí)空跨度較大的移動(dòng)對(duì)象軌跡,GanosBase采用了內(nèi)部軌跡分段索引策略;實(shí)測(cè)表明,索引過濾效率提升5倍以上,有效提升4D軌跡查詢分析性能。
GanosBase移動(dòng)對(duì)象數(shù)據(jù)庫(kù)支持無(wú)人機(jī)4D時(shí)空分析場(chǎng)景
3 多級(jí)空間并行查詢加速
分析、控制和模擬是數(shù)字孿生系統(tǒng)的關(guān)鍵要素。傳統(tǒng)系統(tǒng)很難針對(duì)大型建筑或大規(guī)模三維實(shí)體對(duì)象完成即時(shí)、快速拓?fù)浞治鲇?jì)算。GanosBase基于云原生數(shù)據(jù)庫(kù)PolarDB,建立了多級(jí)空間并行查詢處理框架,支持intra-parallel (跨節(jié)點(diǎn)并行)、inter-parallel (節(jié)點(diǎn)內(nèi)表級(jí)并行)以及obj-parallel (對(duì)象級(jí)并行)三種并行粒度,大規(guī)模多維空間數(shù)據(jù)分析處理效率提升至少一個(gè)數(shù)量級(jí)。
PolarDB+GanosBase多級(jí)空間并行查詢處理框架
基于某國(guó)家級(jí)新區(qū)數(shù)字規(guī)劃系統(tǒng)實(shí)測(cè)數(shù)據(jù)表明,在復(fù)雜大型建筑千萬(wàn)級(jí)圖元分析計(jì)算場(chǎng)景下,多級(jí)空間并行計(jì)算加速較傳統(tǒng)方案性能提升上百倍。系統(tǒng)可應(yīng)用于智慧城市/CIM/國(guó)土等數(shù)據(jù)體量大且高維復(fù)雜對(duì)象場(chǎng)景,提速時(shí)空大計(jì)算。
BIM大型建筑復(fù)雜分析計(jì)算效率較傳統(tǒng)軟件提升100倍以上
4 分布式空天大計(jì)算
通過衛(wèi)星拍攝地球成像,是未來(lái)數(shù)字孿生場(chǎng)景獲取數(shù)據(jù)最直接有效的方式之一。但由于拍攝衛(wèi)星的傳感器不同,拍攝時(shí)間不同等因素,往往造成不同時(shí)相不同區(qū)域影像相互疊蓋、色彩不連續(xù),影響真實(shí)效果和機(jī)器智能判讀。GanosBase有效整合了PolarDB的空天索引能力和DLA Spark的空天計(jì)算能力,在V4.0中提供了自動(dòng)化、大范圍、分布式遙感影像時(shí)空拼圖與勻色算法服務(wù),支持鑲嵌線和貢獻(xiàn)區(qū)域自動(dòng)提取,支持業(yè)內(nèi)領(lǐng)先的多種自動(dòng)化勻色方案,可全自動(dòng)拼圖生成全球勻色一張圖。GanosBase已與阿里巴巴達(dá)摩院AI Earth數(shù)知地球產(chǎn)品形成DB for AI聯(lián)合解決方案,在自然資源、環(huán)境監(jiān)測(cè)、農(nóng)業(yè)生產(chǎn)等多個(gè)領(lǐng)域獲得廣泛應(yīng)用。
GanosBase空天柵格引擎全面服務(wù)于AI Earth數(shù)知地球
5 PB級(jí)軌跡大數(shù)據(jù)處理
結(jié)合多模數(shù)據(jù)庫(kù)Lindorm,GanosBase提供了百TB-PB級(jí)軌跡大數(shù)據(jù)存儲(chǔ)和處理能力,主要服務(wù)于車聯(lián)網(wǎng)、共享出行、航海航空、公共安全等新領(lǐng)域新場(chǎng)景。此次升級(jí)涵蓋以下三方面核心能力提升:
靈活的軌跡存儲(chǔ)模型:同時(shí)支持點(diǎn)模型、整軌跡線模型和分段軌跡線模型三種存儲(chǔ)模型,適用于不同的查詢分析場(chǎng)景。
低成本軌跡存儲(chǔ):結(jié)合Lindorm原生二級(jí)索引,在保證查詢效率的同時(shí),降低存儲(chǔ)成本至全量索引存儲(chǔ)模型的50%,適用于海量軌跡數(shù)據(jù)存儲(chǔ)。
高效率時(shí)空查詢:支持ID+時(shí)間查詢、屬性查詢、空間范圍查詢和時(shí)空范圍查詢4類常用軌跡查詢,可通過構(gòu)建二級(jí)索引支持多維度查詢,可達(dá)到10ms級(jí)響應(yīng)效率。
在此基礎(chǔ)上,通過與Lindorm集成,實(shí)現(xiàn)鍵值、寬表、時(shí)序、搜索、文件等多模數(shù)據(jù)與時(shí)空數(shù)據(jù)的一體化管理和處理,為數(shù)字孿生系統(tǒng)構(gòu)建提供更全面保障。
GanosBase支持與多模數(shù)據(jù)庫(kù)Lindorm一體化
GanosBase云孿生時(shí)空數(shù)據(jù)庫(kù)的首發(fā),將為大規(guī)模多維復(fù)雜場(chǎng)景分析和多模融合數(shù)據(jù)處理提供全新解決方案。GanosBase技術(shù)研發(fā)負(fù)責(zé)人謝炯指出,將空間三維真實(shí)場(chǎng)景數(shù)據(jù)處理能力下沉到云原生數(shù)據(jù)庫(kù),最核心要解決的是數(shù)據(jù)“可存可管,從看到算”的問題。這里的“算”是指3D/4D多維分析與處理能力,使多維數(shù)據(jù)不再是花架子。這好比制作一部電影,數(shù)據(jù)可視化就像場(chǎng)面特效,而分析與處理能力就像電影的故事內(nèi)涵,僅有火爆的場(chǎng)面而缺乏內(nèi)涵,不能算是一部真正的好電影。GanosBase V4.0就此拉開序幕,云原生與云孿生結(jié)合,為數(shù)字孿生應(yīng)用拍出一部真正的“好電影”踐行。