AWS推出可加快Redshift查詢(xún)10倍速的AQUA快取

AWS在數(shù)據(jù)庫(kù)節(jié)點(diǎn)ra3.4xl和ra3.16xl，加入了，這是一個(gè)加速層，可將運(yùn)算擺放到靠近數(shù)據(jù)儲(chǔ)存的地方執(zhí)行，以減少網(wǎng)絡(luò)流量和CPU的開(kāi)銷(xiāo)，大幅提升查詢(xún)效率。

AWS提到，AQUA是一個(gè)分散式且硬件加速快取，可以讓Amazon Redshift數(shù)據(jù)倉(cāng)儲(chǔ)在處理特定查詢(xún)時(shí)，比其他廠商的數(shù)據(jù)倉(cāng)儲(chǔ)速度快上10倍，而且在ra3.4xl和ra3.16xl節(jié)點(diǎn)類(lèi)型，用戶(hù)并不需要為AQUA額外支付費(fèi)用。

AWS在2019年時(shí)，在Redshift提供了使用SSD儲(chǔ)存的節(jié)點(diǎn)類(lèi)型RA3，并且在去年4月的時(shí)候，加入包括ra3.4xlarge等其他大小的節(jié)點(diǎn)，還在12月的時(shí)候，加入搭載托管儲(chǔ)存的RA3.xlplus節(jié)點(diǎn)，這些節(jié)點(diǎn)除了具有大帶寬的網(wǎng)絡(luò)連接外，還使用了復(fù)雜的數(shù)據(jù)管理模型。

AWS解釋?zhuān)總€(gè)RA3節(jié)點(diǎn)都具有大容量且高性能的SSD儲(chǔ)存，并從底層的對(duì)象儲(chǔ)存服務(wù)S3，獲得儲(chǔ)存可縮放性、高耐用性和高性能等優(yōu)點(diǎn)，儲(chǔ)存系統(tǒng)會(huì)提供像是數(shù)據(jù)塊溫度、數(shù)據(jù)阻塞和工作負(fù)載模式等提示，來(lái)管理高性能快取，以實(shí)現(xiàn)高性能儲(chǔ)存，數(shù)據(jù)會(huì)自動(dòng)被放到適當(dāng)?shù)膬?chǔ)存層中，用戶(hù)不需要介入，就能獲得最佳化配置。

用戶(hù)使用RA3節(jié)點(diǎn)來(lái)維護(hù)非常大的數(shù)據(jù)集，單個(gè)數(shù)據(jù)倉(cāng)儲(chǔ)最多可儲(chǔ)存的數(shù)據(jù)達(dá)32 PB，AWS提到，當(dāng)數(shù)據(jù)倉(cāng)儲(chǔ)中的數(shù)據(jù)不斷成長(zhǎng)，儲(chǔ)存成長(zhǎng)的幅度超過(guò)CPU的性能增長(zhǎng)，大量數(shù)據(jù)和網(wǎng)絡(luò)流量，可能使得網(wǎng)絡(luò)和CPU帶寬成為限制因子。

為了解決這個(gè)問(wèn)題，AWS開(kāi)發(fā)了AQUA，這是一個(gè)建立在RA3快取基礎(chǔ)上的加速器，其充分使用AWS Nitro系統(tǒng)和自定義FPGA加速功能，并將數(shù)據(jù)精簡(jiǎn)（Reduction）和聚合查詢(xún)所需要的運(yùn)算，放置在數(shù)據(jù)端附近執(zhí)行，借此減少網(wǎng)絡(luò)流量，減輕RA3節(jié)點(diǎn)中CPU的工作負(fù)擔(dān)，并允許AQUA將特定查詢(xún)的性能提高多達(dá)10倍。

這個(gè)新功能不需要額外支付費(fèi)用，也不需要用戶(hù)更動(dòng)任何程序碼，已經(jīng)使用ra3.4xl或ra3.16xl節(jié)點(diǎn)托管數(shù)據(jù)倉(cāng)儲(chǔ)的用戶(hù)，可以在數(shù)分鐘內(nèi)開(kāi)始使用AQUA，僅需要在叢集中啟用AQUA，并且重新啟動(dòng)叢集，就可以在數(shù)據(jù)精簡(jiǎn)和聚合查詢(xún)時(shí)，獲得極大的性能改善。

AWS提到，AQUA可以極大程度降低查詢(xún)時(shí)間，甚至可以讓部分新類(lèi)型的查詢(xún)獲得即時(shí)的結(jié)果，而這些查詢(xún)可能在過(guò)去不可能實(shí)現(xiàn)，或是不切實(shí)際。

AQUA快取的數(shù)據(jù)都會(huì)以用戶(hù)的金鑰加密，在執(zhí)行過(guò)濾和聚合操作之後，AQUA就會(huì)壓縮結(jié)果并且進(jìn)行加密，然後把數(shù)據(jù)回傳至Redshift。目前該服務(wù)已經(jīng)在美東、美西和歐洲地區(qū)提供，而亞太現(xiàn)在先在東京上線，2021上半年還會(huì)陸續(xù)在悉尼和新加坡提供。