華為云GaussDB(DWS)數(shù)據(jù)倉(cāng)庫(kù)以2048大規(guī)模節(jié)點(diǎn)通過(guò)信通院評(píng)測(cè)認(rèn)證

來(lái)源: 華為云
作者:華為云
時(shí)間:2020-12-21
16991
12月18日,由中國(guó)信息通信研究院、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)、北京市大數(shù)據(jù)中心聯(lián)合主辦的“2020數(shù)據(jù)資產(chǎn)管理大會(huì)”在北京拉開帷幕,會(huì)上信通院為通過(guò)大數(shù)據(jù)、數(shù)據(jù)庫(kù)等能力評(píng)測(cè)的產(chǎn)品頒發(fā)證書。華為云GaussDB(DWS)數(shù)據(jù)倉(cāng)庫(kù)以單集群2048節(jié)點(diǎn)的超大規(guī)模,滿分通過(guò)測(cè)試認(rèn)證,是迄今為止信通院認(rèn)證的最大規(guī)模分布式數(shù)據(jù)庫(kù)集群,刷新了歷史紀(jì)錄,樹立了業(yè)界新標(biāo)桿。

12月18日,由中國(guó)信息通信研究院、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)、北京市大數(shù)據(jù)中心聯(lián)合主辦的“2020數(shù)據(jù)資產(chǎn)管理大會(huì)”在北京拉開帷幕,會(huì)上信通院為通過(guò)大數(shù)據(jù)、數(shù)據(jù)庫(kù)等能力評(píng)測(cè)的產(chǎn)品頒發(fā)證書。華為云GaussDB(DWS)數(shù)據(jù)倉(cāng)庫(kù)以單集群2048節(jié)點(diǎn)的超大規(guī)模,滿分通過(guò)測(cè)試認(rèn)證,是迄今為止信通院認(rèn)證的最大規(guī)模分布式數(shù)據(jù)庫(kù)集群,刷新了歷史紀(jì)錄,樹立了業(yè)界新標(biāo)桿。

image(54).png

隨著移動(dòng)互聯(lián)網(wǎng)、IoT、人工智能等技術(shù)的迅速發(fā)展,數(shù)據(jù)產(chǎn)生的規(guī)??涨霸鲩L(zhǎng),據(jù)知名咨詢機(jī)構(gòu)統(tǒng)計(jì),預(yù)計(jì)未來(lái)5年數(shù)據(jù)規(guī)模年均增速達(dá)30%,面對(duì)快速膨脹的數(shù)據(jù)規(guī)模,各類企業(yè)、機(jī)構(gòu)需要更快、更全面的掌握分析數(shù)據(jù),挖掘內(nèi)在價(jià)值,支撐經(jīng)營(yíng)決策和優(yōu)化管理,數(shù)據(jù)倉(cāng)庫(kù)作為核心查詢分析平臺(tái),必須要具備大規(guī)模集群能力,也是數(shù)據(jù)庫(kù)廠商需要突破的核心技術(shù)點(diǎn)之一。

華為云GaussDB(DWS)為各企業(yè)用戶提供最佳性能、按需擴(kuò)展、穩(wěn)定可靠的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù),滿足客戶超大規(guī)模數(shù)據(jù)的高性能查詢分析訴求。在本次大規(guī)模集群測(cè)試評(píng)估中,華為云GaussDB(DWS)一次性通過(guò)50項(xiàng)測(cè)試用例,包括27項(xiàng)必選用例和23項(xiàng)可選用例,交出了完美的答卷。

大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)集群不僅僅是將眾多服務(wù)器“攢”起來(lái),更需要解決大并發(fā)復(fù)雜查詢下的通信連接風(fēng)暴問(wèn)題。并且在數(shù)千節(jié)點(diǎn)的集群中,平均每天都會(huì)有硬件故障發(fā)生,如何應(yīng)對(duì)“硬件不可靠”帶來(lái)的問(wèn)題?如何在硬件亞健康情況下數(shù)據(jù)倉(cāng)仍能提供穩(wěn)定的性能,如何在操作系統(tǒng)“軟死”情況下數(shù)據(jù)倉(cāng)庫(kù)不出現(xiàn)卡頓、無(wú)響應(yīng)等問(wèn)題,是技術(shù)面臨的極大挑戰(zhàn)。在2048節(jié)點(diǎn)大規(guī)模集群認(rèn)證的背后,是華為云GaussDB(DWS)強(qiáng)大“硬核科技”的表現(xiàn)。

一、Multi-Streams多流通信技術(shù)

在2048節(jié)點(diǎn)規(guī)模下,集群進(jìn)行全并行數(shù)據(jù)交換時(shí),集群內(nèi)可達(dá)百億級(jí)的并行連接,出現(xiàn)通信連接風(fēng)暴,已遠(yuǎn)遠(yuǎn)超出TCP連接端口號(hào)和socket文件句柄上限。

GaussDB(DWS)自研的Multi-Streams多流通信技術(shù),將連接數(shù)提升5個(gè)數(shù)量級(jí),突破物理機(jī)TCP連接端口限制,能夠支持集群內(nèi)百億級(jí)通信連接,并且理論支持節(jié)點(diǎn)數(shù)無(wú)上限。

Multi-Streams多流通信采用邏輯連接技術(shù),避免了TCP物理連接的三次握手的機(jī)制,單數(shù)據(jù)節(jié)點(diǎn)建連性能達(dá)到100萬(wàn)次/s,提升20倍。

該技術(shù)基于全異步無(wú)阻塞代理通信架構(gòu),支持跨邏輯連接的socket合并,將網(wǎng)絡(luò)吞吐能力提升3倍。

二、高可用設(shè)計(jì)及集群管理技術(shù)

GaussDB(DWS)設(shè)計(jì)之初,即充分考慮高可用性,其具備多層級(jí)高可用及容災(zāi)能力,在進(jìn)程級(jí)、節(jié)點(diǎn)級(jí)、集群級(jí)出現(xiàn)軟硬件異常的情況下具備平滑處理能力。

在棘手的硬件亞健康、“軟死”問(wèn)題上,GaussDB(DWS)具備完善的智能檢測(cè)和處理機(jī)制,能夠?qū)崟r(shí)監(jiān)測(cè)任意節(jié)點(diǎn)狀態(tài),包括服務(wù)器亞健康狀態(tài)、磁盤慢盤、靜默損壞等等場(chǎng)景,通過(guò)自動(dòng)感知、剔除、平滑切換等高可用策略,提高業(yè)務(wù)的連續(xù)性。

并且,在物理組件發(fā)生故障的情況下,Server端Multi-Retries技術(shù)能夠大幅減少故障失敗的業(yè)務(wù)感知,保障業(yè)務(wù)持續(xù)運(yùn)行。

在集群管理上,針對(duì)超大節(jié)點(diǎn)數(shù)場(chǎng)景,通過(guò)邏輯重構(gòu),實(shí)現(xiàn)集群起停的全并行處理,2048節(jié)點(diǎn)規(guī)模下具備分鐘級(jí)起停能力。

三、大規(guī)模場(chǎng)景下的并行數(shù)據(jù)備份恢復(fù)技術(shù)

完全在線:數(shù)據(jù)備份期間,采用全程無(wú)加鎖技術(shù),任何業(yè)務(wù)SQL、包括DDL均不受影響。

多層級(jí)并行極速備份:每節(jié)點(diǎn)獨(dú)立多并發(fā)、多通道備份,提供10PB級(jí)數(shù)據(jù)快速備份恢復(fù)性能。

全局一致性快照:集群級(jí)全局一致性快照,數(shù)據(jù)強(qiáng)一致性保證。

細(xì)粒度數(shù)據(jù)恢復(fù):支持多粒度數(shù)據(jù)恢復(fù),滿足客戶誤刪、個(gè)別表?yè)p壞等緊急恢復(fù)需求。

得益于包括以上三點(diǎn)在內(nèi)的一系列核心技術(shù),華為云GaussDB(DWS)一舉通過(guò)信通院2048節(jié)點(diǎn)大規(guī)模分布式分析型數(shù)據(jù)庫(kù)評(píng)測(cè),成為國(guó)內(nèi)首個(gè)單集群突破兩千的商用數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品。

華為云GaussDB(DWS)數(shù)據(jù)倉(cāng)庫(kù)已廣泛應(yīng)用于金融、政府、運(yùn)營(yíng)商、交通、物流、互聯(lián)網(wǎng)等領(lǐng)域,服務(wù)于全球1000+客戶。GaussDB(DWS)踐行"平臺(tái)+生態(tài)"戰(zhàn)略,聯(lián)合500+合作伙伴,為各行業(yè)提供競(jìng)爭(zhēng)力的數(shù)據(jù)倉(cāng)庫(kù)解決方案。

立即登錄,閱讀全文
版權(quán)說(shuō)明:
本文內(nèi)容來(lái)自于華為云,本站不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。文章內(nèi)容系作者個(gè)人觀點(diǎn),不代表快出海對(duì)觀點(diǎn)贊同或支持。如有侵權(quán),請(qǐng)聯(lián)系管理員(zzx@kchuhai.com)刪除!
相關(guān)文章
近6成金融機(jī)構(gòu)的選擇!華為云GaussDB加快金融核心系統(tǒng)轉(zhuǎn)型
近6成金融機(jī)構(gòu)的選擇!華為云GaussDB加快金融核心系統(tǒng)轉(zhuǎn)型
當(dāng)前,數(shù)據(jù)庫(kù)在金融機(jī)構(gòu)的應(yīng)用正在從辦公、一般系統(tǒng)逐步邁入核心系統(tǒng)應(yīng)用的深水區(qū)。如何構(gòu)建安全可靠、高效穩(wěn)定的核心系統(tǒng)數(shù)據(jù)庫(kù),支持業(yè)務(wù)運(yùn)營(yíng)和管理決策,成為了眾多金融機(jī)構(gòu)關(guān)注的焦點(diǎn)問(wèn)題。
華為云
2024-07-042024-07-04
華為云以系統(tǒng)性創(chuàng)新加速千行萬(wàn)業(yè)智能化升級(jí)
華為云以系統(tǒng)性創(chuàng)新加速千行萬(wàn)業(yè)智能化升級(jí)
華為云全球銷售收入達(dá)553億元人民幣,是全球增長(zhǎng)最快的主流云廠商之一。
華為云
2024-04-222024-04-22
華為云發(fā)布新型工業(yè)互聯(lián)網(wǎng)平臺(tái)參考架構(gòu)
華為云發(fā)布新型工業(yè)互聯(lián)網(wǎng)平臺(tái)參考架構(gòu)
近日,在華為分析師大會(huì)上,華為混合云副總裁胡玉海重磅發(fā)布《新型工業(yè)互聯(lián)網(wǎng)平臺(tái)參考架構(gòu)》白皮書,在傳統(tǒng)工業(yè)互聯(lián)網(wǎng)的基礎(chǔ)上,融入大模型的能力,讓智能化賦能新型工業(yè)化。
華為云
云服務(wù)
2024-04-222024-04-22
支撐核心系統(tǒng)分布式改造,GaussDB為江南農(nóng)商銀行筑穩(wěn)根基
支撐核心系統(tǒng)分布式改造,GaussDB為江南農(nóng)商銀行筑穩(wěn)根基
在移動(dòng)互聯(lián)網(wǎng)快速普及的當(dāng)下,金融機(jī)構(gòu)能否提供便捷、智能、個(gè)性化的金融服務(wù),成為關(guān)乎業(yè)務(wù)開展和企業(yè)成長(zhǎng)的重要命題。
華為云
2024-01-252024-01-25
優(yōu)質(zhì)服務(wù)商推薦
更多
掃碼登錄
打開掃一掃, 關(guān)注公眾號(hào)后即可登錄/注冊(cè)
加載中
二維碼已失效 請(qǐng)重試
刷新
賬號(hào)登錄/注冊(cè)
個(gè)人VIP
小程序
快出海小程序
公眾號(hào)
快出海公眾號(hào)
商務(wù)合作
商務(wù)合作
投稿采訪
投稿采訪
出海管家
出海管家