AWS添加微軟數(shù)據(jù)庫應(yīng)用程序搬遷輔助，無服務(wù)器能擴(kuò)至更大規(guī)模

關(guān)于數(shù)據(jù)庫、數(shù)據(jù)倉(cāng)庫等多種存儲(chǔ)與分析服務(wù)的發(fā)展，是AWS這幾年力推企業(yè)上云的重頭戲。

他們?cè)?018年全球用戶大會(huì)提出Database Freedom口號(hào)，抨擊Oracle、微軟SQL Server這類舊型商業(yè)等級(jí)數(shù)據(jù)庫，認(rèn)為它們成本昂貴、高度捆綁、采用專屬設(shè)計(jì)，并非聚焦于用戶需求，因此，AWS鼓吹企業(yè)采用開放式的資料引擎與可移植能力，以及強(qiáng)調(diào)他們可提供商業(yè)等級(jí)的關(guān)系型數(shù)據(jù)庫性能，因而主推兼容于MySQL和PostgreSQL的Amazon Aurora，還可以選擇商用等級(jí)軟件Oracle、SQL Server，以及開放源碼軟件PostgreSQL、MySQL、MariaDB，而這些都隸屬于他們的數(shù)據(jù)庫云計(jì)算服務(wù)Amazon RDS。

此外，AWS母公司Amazon在11月1日宣布全面改用自家數(shù)據(jù)倉(cāng)庫服務(wù)Redshift，而不再使用Oracle。

到了2019年全球用戶大會(huì)，AWS將重點(diǎn)擺在數(shù)據(jù)倉(cāng)庫，宣布推出更多Redshift系列服務(wù)與功能，像是Redshift RA3執(zhí)行實(shí)例、AQUA for Amazon Redshift高端加速查詢、Redshift Data Lake Export資料湖導(dǎo)出，以及Redshift Federated Query聯(lián)合查詢、具現(xiàn)化查看（虛擬資料表）Materialized views，其中的RA3、Redshift Data Lake Export當(dāng)時(shí)已上線提供、Materialized views的支持提供預(yù)覽版，AQUA for Amazon Redshift今年12月終于發(fā)布預(yù)覽版，Materialized views與Federated Query，則陸續(xù)在3月、4月正式推出。

今年AWS全球用戶大會(huì)的相關(guān)技術(shù)應(yīng)用發(fā)布，又將目光重新聚焦在數(shù)據(jù)庫，他們也發(fā)布協(xié)助數(shù)據(jù)庫系統(tǒng)遷移的新功能，這次鎖定的對(duì)象是微軟SQL Server，而非以往針對(duì)的Oracle，同時(shí)，也強(qiáng)化Aurora的無服務(wù)器應(yīng)用服務(wù)。

關(guān)于SQL Server數(shù)據(jù)庫遷移，AWS將推出Babelfish for Aurora PostgreSQL功能，希望能以此協(xié)助用戶，讓他們將既有SQL Server數(shù)據(jù)庫系統(tǒng)，更簡(jiǎn)易地搬遷至AWS的數(shù)據(jù)庫云計(jì)算服務(wù)Aurora PostgreSQL，用戶可在Aurora PostgreSQL環(huán)境，繼續(xù)執(zhí)行既有SQL Server的應(yīng)用程序，而且僅需小幅修改程序代碼即可、甚至不用修改程序代碼，同時(shí)，AWS也計(jì)劃開放這套軟件功能的程序源碼，采用Apache 2.0授權(quán)許可，并公布在程序代碼協(xié)作與共享社群平臺(tái)GitHub。

另一項(xiàng)消息，則是他們針對(duì)隨需執(zhí)行的關(guān)系型數(shù)據(jù)庫服務(wù)Aurora Serverless，宣布將推出第二版。針對(duì)那些不打算自行管理數(shù)據(jù)庫容量的用戶，Aurora Serverless v2能在一秒之內(nèi)，大幅擴(kuò)展執(zhí)行規(guī)模，而能處理數(shù)十萬筆交易，相較于基于尖峰容量設(shè)置的數(shù)據(jù)庫環(huán)境，AWS宣稱，最高可節(jié)省90%的成本。目前，AWS已針對(duì)兼容于MySQL 5.7版本的Aurora，推出預(yù)覽版本供用戶測(cè)試。

在大數(shù)據(jù)分析的部分，除了上述AQUA for Amazon Redshift本月宣布推出預(yù)覽版的消息，AWS還針對(duì)資料搬移與準(zhǔn)備服務(wù)Glue，發(fā)布了匯集與復(fù)制多個(gè)人信息料源的Elastic Views功能，同時(shí)，也在商業(yè)智能云計(jì)算服務(wù)QuickSight，增設(shè)了自然語言輸入查詢的功能Q。

取代SQL Server成AWS拓展數(shù)據(jù)庫市場(chǎng)新目標(biāo)，積極強(qiáng)化遷移能力

為了吸引更多用戶將數(shù)據(jù)庫系統(tǒng)遷移到公有云，AWS提供數(shù)據(jù)庫綱要轉(zhuǎn)換工具Schema Conversion Tool（SCT），以及數(shù)據(jù)庫遷移服務(wù)Database Migration Service（DMS），但除了數(shù)據(jù)庫綱要的轉(zhuǎn)移，應(yīng)用程序的資料訪問邏輯該如何因應(yīng)搬遷，又會(huì)是另一項(xiàng)大工程，因?yàn)橥ǔＰ枰筚M(fèi)周章地手動(dòng)調(diào)整程序代碼，而且這里面又涉及到數(shù)據(jù)庫各自專屬的指令使用。

過去AWS針對(duì)Oracle數(shù)據(jù)庫應(yīng)用程序的部分，可通過SCT將PL/SQL轉(zhuǎn)換到PL/pgSQL，但并未涵蓋到SQL Server應(yīng)用程序，而影響遷移數(shù)據(jù)庫的工程。另一方面AWS這邊也接到越來越多用戶想將SQL Server遷移至Aurora需求──這主要是因?yàn)槲④泴?duì)于授權(quán)的做法越來越積極，增加更多操縱機(jī)制，例如，他們將自有授權(quán)帶入云計(jì)算服務(wù)（BYOL），局限在2019年10月1日購(gòu)買的用戶，使用的軟件也只能升級(jí)到這個(gè)日期之前可用的版本，使得遷移上云的成本變高。

對(duì)此，AWS決定開發(fā)一套名為Babelfish for Aurora PostgreSQL的功能，能讓原先可在SQL Server執(zhí)行的應(yīng)用程序，也能在PostgreSQL其中直接執(zhí)行，而且只需修改少量程序代碼即可。這項(xiàng)功能會(huì)替Aurora PostgreSQL提供轉(zhuǎn)換層，讓云計(jì)算服務(wù)能夠理解專為SQL Server撰寫的應(yīng)用程序的T-SQL指令。

基本上，Babelfish可支持相關(guān)的SQL分支語法、指標(biāo)、目錄查看（catalog views）、資料類型、觸發(fā)程序（trigger）、預(yù)存程序（stored procedure）、函數(shù)（function），以及Tabular Data Stream（TDS）通信協(xié)議，用戶不需改寫應(yīng)用程序的資料訪問請(qǐng)求方式，也不需沿用既有SQL Server驅(qū)動(dòng)程序。

用戶在運(yùn)用AWS DMS遷移數(shù)據(jù)庫之后，只需更新他們的應(yīng)用程序組態(tài)，將數(shù)據(jù)庫的指向從原本的SQL Server改為Aurora即可。由于Aurora會(huì)通過Babelfish for Aurora PostgreSQL理解SQL Server與PostgreSQL專屬的查詢語言，之后用戶即可改用PostgreSQL來撰寫數(shù)據(jù)庫應(yīng)用程序的功能，并且能同時(shí)執(zhí)行既有的SQL Server的T-SQL語法敘述程序代碼。

作為Aurora即將發(fā)布的功能之余，AWS也預(yù)告，將在2021年公開Babelfish for PostgreSQL的程序源碼，將受益的對(duì)象擴(kuò)大至整個(gè)PostgreSQL使用社群，而非局限在Aurora用戶。任何人能夠參與這項(xiàng)軟件開發(fā)計(jì)劃，并加入更多功能，屆時(shí)Babelfish for PostgreSQL將采用Apache 2.0的授權(quán)模式，讓各種企業(yè)或組織基于這樣的授權(quán)條款，能夠自由使用、散播、修改，相關(guān)的工作與規(guī)劃都會(huì)公布在程序代碼協(xié)作平臺(tái)GitHub。

發(fā)布新版數(shù)據(jù)庫無服務(wù)器應(yīng)用服務(wù)，能更快擴(kuò)展執(zhí)行規(guī)模

在2018年，AWS的無服務(wù)器數(shù)據(jù)庫應(yīng)用服務(wù)Aurora Serverless正式推出，雖然用戶不需自行管理數(shù)據(jù)庫容量，但有越來越多的情況，需要快速、更精確地?cái)U(kuò)展數(shù)據(jù)庫容量，例如，執(zhí)行更多生產(chǎn)環(huán)境的工作負(fù)載，以及運(yùn)用Aurora的多種功能，像是激活多個(gè)可用區(qū)域（Multi-AZ）實(shí)現(xiàn)高可用性、構(gòu)建全球數(shù)據(jù)庫來達(dá)到低延遲、運(yùn)用讀取副本（Read Replicas）以獲取高性能、采用時(shí)間回溯（Backtrack）來快速恢復(fù)，或是提供平行查詢來加快查詢速度。此時(shí)，用戶若要擴(kuò)展Aurora Serverless數(shù)據(jù)庫容量1倍，每次需耗費(fèi)5到50秒。

而在即將推出的Aurora Serverless v2，能在1秒以內(nèi)大幅擴(kuò)展數(shù)據(jù)庫工作負(fù)載規(guī)模，使其能夠處理數(shù)十萬筆交易。相較于現(xiàn)行每次在工作負(fù)載需要擴(kuò)展規(guī)模時(shí)增加1倍容量的做法，Aurora Serverless v2會(huì)根據(jù)應(yīng)用程序的需求來細(xì)部調(diào)整每次增益的容量，提供最合適的數(shù)據(jù)庫資源容量。

而且，此時(shí)用戶只需根據(jù)他們使用的容量，來支付服務(wù)費(fèi)用。

若是對(duì)照基于尖峰容量而配置的數(shù)據(jù)庫資源，由于難免會(huì)有過度提供或閑置的狀況，而如今Aurora Serverless v2能夠變動(dòng)態(tài)擴(kuò)展與縮減執(zhí)行規(guī)模，在數(shù)據(jù)庫服務(wù)的使用上，有望節(jié)省更多成本。

而有了這類精細(xì)擴(kuò)展規(guī)模的能力，Aurora Serverless預(yù)計(jì)可支持更多種企業(yè)應(yīng)用系統(tǒng)的需求，甚至也適用于軟件即服務(wù)（SaaS）供應(yīng)商，能因應(yīng)于多租戶環(huán)境，以及本身需管理大量關(guān)系型數(shù)據(jù)庫的環(huán)境。

針對(duì)用量起伏較大的關(guān)系型數(shù)據(jù)庫云計(jì)算服務(wù)應(yīng)用，例如線上搶票或暴量商品或服務(wù)訂購(gòu)，AWS原本就有Aurora Serverless的執(zhí)行模式，今年推出第二版的功能，能在更短時(shí)間內(nèi)擴(kuò)展與縮減數(shù)據(jù)庫執(zhí)行容量規(guī)模，最低可擴(kuò)展0.5個(gè)數(shù)據(jù)庫容量單位（Aurora Capacity Unit，ACU），最高可到256個(gè)ACU。（圖片來源／AWS）

提供更多加速數(shù)據(jù)倉(cāng)庫查詢的應(yīng)用服務(wù)與功能

在大數(shù)據(jù)分析的應(yīng)用上，AWS旗下有多種云計(jì)算服務(wù)，可針對(duì)不同用途的資料處理需求，例如，Athena能用于無服務(wù)器形態(tài)的資料查詢（以SQL語法分析存放在S3的資料）；Elasticsearch Service可用于資料搜索與圖表化呈現(xiàn)（集成Elasticsearch、Logstash、Kibana）；Kinesis能處理即視頻流媒體與時(shí)資料流；Redshift專攻數(shù)據(jù)倉(cāng)庫；EMR可執(zhí)行多種大數(shù)據(jù)框架軟件的工作負(fù)載，像是Spark、Hive、Presto、Flink、HBase；Glue提供無服務(wù)器執(zhí)行形態(tài)的資料準(zhǔn)備服務(wù)；QuickSight則是支持商業(yè)智能分析應(yīng)用的服務(wù)。

而在今年全球用戶大會(huì)期間，AWS特別針對(duì)其中三項(xiàng)服務(wù)，也就是Redshift、Glue、QuickSight，發(fā)布新的消息。

AQUA for Amazon Redshift

首先是去年發(fā)布的分布式硬件加速緩存技術(shù)AQUA for Amazon Redshift，在今年12月開放預(yù)覽版試用，預(yù)計(jì)在2021年1月正式推出，而且將依附在RA3執(zhí)行實(shí)例其中免費(fèi)提供，因此，租這項(xiàng)服務(wù)的用戶不需變更程序代碼，即可享受到AQUA的好處。

Glue Elastic Views

第二個(gè)則是針對(duì)資料匯集的需求，AWS在Glue這項(xiàng)無服務(wù)器ETL資料準(zhǔn)備服務(wù)其中，即將推出名為Elastic Views的集成功能，目前已發(fā)布預(yù)覽版，用戶可通過具現(xiàn)化查看表（materialized views）的構(gòu)建，而能運(yùn)用多種來源資料?；旧?，這項(xiàng)功能可橫跨存儲(chǔ)系統(tǒng)、數(shù)據(jù)倉(cāng)庫、數(shù)據(jù)庫等多個(gè)人信息料存儲(chǔ)服務(wù)，執(zhí)行自動(dòng)結(jié)合與復(fù)制資料的作業(yè)。

為了要匯聚分散在多個(gè)人信息料孤島上的內(nèi)容，雖然我們可以構(gòu)建資料湖來進(jìn)行集成，但考慮到訪問延遲與實(shí)際IT運(yùn)營(yíng)挑戰(zhàn)，放置在專屬存儲(chǔ)的資料量仍在大量增加，因此，企業(yè)仍須在這些分散或集中的存儲(chǔ)服務(wù)之間，進(jìn)行資料搬移（Data Movement）的工作，而在Glue Elastic Views其中，用戶可使用SQL語法，針對(duì)想要從不同來源存儲(chǔ)服務(wù)復(fù)制資料、進(jìn)行匯總，以便創(chuàng)建具現(xiàn)化查看。

而除了將不同來源數(shù)據(jù)庫的內(nèi)容復(fù)制到目標(biāo)數(shù)據(jù)庫，Glue Elastic Views還會(huì)自動(dòng)更新目標(biāo)數(shù)據(jù)庫的內(nèi)容──AWS會(huì)持續(xù)監(jiān)控來源數(shù)據(jù)庫的變更，并在幾秒之內(nèi)更新目標(biāo)數(shù)據(jù)庫，一旦某個(gè)來源的資料模型有變動(dòng)，Glue Elastic Views會(huì)主動(dòng)警告開發(fā)人員，讓他們更新手上的具現(xiàn)化查看來反映變更。

當(dāng)然，Glue本身是無服務(wù)器架構(gòu)的資料準(zhǔn)備服務(wù)，Glue Elastic Views可隨著工作負(fù)載加重或減輕，自動(dòng)擴(kuò)展或縮減服務(wù)容量，確保目標(biāo)數(shù)據(jù)庫存放的具現(xiàn)化查看表內(nèi)容，維持最新狀態(tài)。

Glue Elastic Views目前能匯集哪些數(shù)據(jù)源？AWS表示，可支持多種AWS環(huán)境的數(shù)據(jù)庫云計(jì)算服務(wù)，像是NoSQL數(shù)據(jù)庫DynamoDB、Elasticsearch Service，關(guān)系型數(shù)據(jù)庫RDS、數(shù)據(jù)倉(cāng)庫Redshift，以及資料存儲(chǔ)服務(wù)，像是S3。

在資料分析之前的準(zhǔn)備與匯集作業(yè)上，AWS Glue添加了Elastic Views的功能，可讓企業(yè)運(yùn)用SQL語法來創(chuàng)建虛擬資料表，以此來結(jié)合與復(fù)制多個(gè)來源的資料，而在這其中，使用了AWS在2019年推出的SQL兼容查詢語言PartiQL，可支持DynamoDB、S3、Redshift等數(shù)據(jù)庫與存儲(chǔ)服務(wù)。（圖片來源／AWS）

QuickSight Q

關(guān)于企業(yè)環(huán)境大數(shù)據(jù)處理需求，除了數(shù)據(jù)倉(cāng)庫、資料準(zhǔn)備（ETL），另一個(gè)關(guān)鍵則是資料分析，對(duì)此AWS在2015年推出主打商業(yè)智能用途的QuickSight，2019年增設(shè)了機(jī)器學(xué)習(xí)與自然語言功能，名為ML Insights，用戶可執(zhí)行異常偵測(cè)、趨勢(shì)預(yù)測(cè)，以及自動(dòng)化內(nèi)容分析陳述（Auto-narrative）。

在今年全球用戶大會(huì)上，AWS發(fā)布另一項(xiàng)結(jié)合自然語言應(yīng)用的資料查詢功能，稱為QuickSight Q，用戶可針對(duì)所有現(xiàn)存的資料，在QuickSight Q的搜索框其中，以自然語言的問句形式鍵入內(nèi)容，幾秒鐘之內(nèi)就會(huì)得到答案（目前以英文為主，但AWS并未提及是否能以其他語言提問）。

值得注意的是，QuickSight Q支持自動(dòng)完成的關(guān)鍵字詞與商業(yè)用語建議功能，以及自動(dòng)執(zhí)行的拼字檢查、縮寫、同義詞的比對(duì)，用戶無需擔(dān)心拼錯(cuò)字，或是資料確切的商業(yè)用語。這套云計(jì)算服務(wù)使用了深度學(xué)習(xí)與機(jī)器學(xué)習(xí)技術(shù)，像是自然語言處理、資料綱要理解、語義分析，支持SQL語法程序代碼的產(chǎn)生，再以此產(chǎn)生能理解問句意義與商業(yè)資料關(guān)系的資料模型，用戶就能很快地接收到高精準(zhǔn)的回答，不必耗費(fèi)幾天或幾周的時(shí)間等待資料模型構(gòu)建完成之后，才能得到答案。

相較于BI團(tuán)隊(duì)構(gòu)建資料模型、分析預(yù)先被決定好模型的資料集的做法，AWS認(rèn)為，QuickSight Q并不會(huì)局限用戶提問范圍，而且查詢分析的范圍是全部的資料，可提供更完整、精確的解答。不過，在深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的技術(shù)應(yīng)用上，QuickSight Q使用的是預(yù)先訓(xùn)練的資料，而這些資料源自不同領(lǐng)域與產(chǎn)業(yè)，因此，QuickSight Q的自然語言處理，可被調(diào)校成理解復(fù)雜的商業(yè)語言。

關(guān)于提問與回答精準(zhǔn)度的部分，QuickSight Q會(huì)從用戶交互過程其中來學(xué)習(xí)，而能隨著時(shí)間持續(xù)提升。此外，如果QuickSight Q無法理解用戶輸入的問題，他們也可以在搜索框，借由建議選項(xiàng)的下拉式菜單來得到提示、引導(dǎo)問題的描述，而在下一次查詢交互時(shí)，QuickSight Q會(huì)記住這詞匯，提示給用戶選擇。

為了簡(jiǎn)化企業(yè)將SQL Server搬遷至數(shù)據(jù)庫云計(jì)算服務(wù)Aurora的工程，AWS發(fā)布了Babelfish for Aurora PostgreSQL的功能，可讓SQL Server專屬的相關(guān)應(yīng)用程序，在少量或不需修改程序代碼的狀況下，移植到Aurora執(zhí)行。同時(shí)，他們也宣布將在2021年發(fā)布Babelfish for PostgreSQL開放源碼項(xiàng)目，讓更多PostgreSQL系統(tǒng)也能具備這項(xiàng)功能。（圖片來源／AWS）