構(gòu)建Serverless數(shù)據(jù)分析戰(zhàn)略，Amazon EMR Serverless在中國(guó)區(qū)域上線

您現(xiàn)在可以通過(guò)由光環(huán)新網(wǎng)運(yùn)營(yíng)的亞馬遜云科技中國(guó)（北京）區(qū)域和由西云數(shù)據(jù)運(yùn)營(yíng)的亞馬遜云科技中國(guó)（寧夏）區(qū)域使用Amazon EMR Serverless，這是一種無(wú)服務(wù)器部署選項(xiàng)，客戶可以使用Apache Spark和Hive等開(kāi)源框架運(yùn)行大數(shù)據(jù)分析應(yīng)用程序，而無(wú)需配置、管理和擴(kuò)展集群或服務(wù)器。

Amazon EMR是行業(yè)領(lǐng)先的大數(shù)據(jù)分析服務(wù)，適用于使用開(kāi)源框架進(jìn)行PB級(jí)數(shù)據(jù)處理、交互分析和機(jī)器學(xué)習(xí)，它可以更快地運(yùn)行大數(shù)據(jù)應(yīng)用并且成本不到本地解決方案成本的一半。通過(guò)性能優(yōu)化且兼容開(kāi)源API的Spark、Hive和Presto版本，洞察時(shí)間提升為原來(lái)的2倍。

Amazon EMR Serverless是Amazon EMR的無(wú)服務(wù)器部署選項(xiàng)，客戶無(wú)需配置、管理和擴(kuò)展集群或服務(wù)器即可運(yùn)行大數(shù)據(jù)分析應(yīng)用程序。

新技術(shù)的涌現(xiàn)

給應(yīng)用代碼編寫(xiě)帶來(lái)革新

隨著信息技術(shù)的不斷發(fā)展，計(jì)算機(jī)編程已經(jīng)成為了現(xiàn)代社會(huì)中必不可少的一部分。然而，編寫(xiě)代碼仍然是一個(gè)相對(duì)繁瑣和耗時(shí)的過(guò)程，需要開(kāi)發(fā)人員花費(fèi)大量時(shí)間和精力來(lái)創(chuàng)建和維護(hù)應(yīng)用程序。

在未來(lái)，隨著新技術(shù)的不斷涌現(xiàn)，我們可以看到編寫(xiě)代碼的方式將會(huì)發(fā)生根本變化。未來(lái)，唯一需要書(shū)寫(xiě)的代碼是“業(yè)務(wù)邏輯”，因?yàn)槠渌械幕A(chǔ)設(shè)施和框架都由機(jī)器自動(dòng)完成。

在未來(lái)，基于Serverless的特性，每一行代碼都將為業(yè)務(wù)場(chǎng)景而寫(xiě)。開(kāi)發(fā)者不再需要關(guān)注底層服務(wù)器和基礎(chǔ)設(shè)施的管理，而是能夠?qū)Ｗ⒂跇?gòu)建出色的應(yīng)用程序和功能，以實(shí)現(xiàn)更高效的業(yè)務(wù)流程和更好的用戶體驗(yàn)。Serverless將使得開(kāi)發(fā)者可以根據(jù)需要快速創(chuàng)建、測(cè)試和部署代碼，同時(shí)享受自動(dòng)擴(kuò)容、彈性可靠性以及安全性等方面的優(yōu)勢(shì)。這一愿景將加速軟件開(kāi)發(fā)的速度，提高生產(chǎn)力，并且使得技術(shù)更貼近業(yè)務(wù)需求。

亞馬遜云科技提供了全面的Serverless數(shù)據(jù)分析服務(wù)選項(xiàng)，包括Amazon Redshift數(shù)據(jù)倉(cāng)庫(kù)、Amazon EMR大數(shù)據(jù)平臺(tái)、Amazon Kinesis流式處理、Amazon QuickSight商業(yè)智能工具等。這些服務(wù)可以幫助企業(yè)收集、存儲(chǔ)、處理和分析海量數(shù)據(jù)，以便更好地理解客戶行為、優(yōu)化業(yè)務(wù)決策并探索新機(jī)會(huì)。此外，亞馬遜云科技還提供了一系列與數(shù)據(jù)相關(guān)的托管服務(wù)，例如Amazon RDS關(guān)系型數(shù)據(jù)庫(kù)、Amazon DynamoDB云原生數(shù)據(jù)庫(kù)，以及Amazon S3對(duì)象存儲(chǔ)服務(wù)?？梢暂p松快速地創(chuàng)建基于云的數(shù)據(jù)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)，為企業(yè)提供高性能、可擴(kuò)展和安全的數(shù)據(jù)管理解決方案。

選擇Amazon EMR Serverless的6個(gè)理由：

Amazon EMR Serverless是一種快速、可擴(kuò)展、彈性的分析服務(wù)，為企業(yè)提供了一種有效的方式來(lái)處理大規(guī)模數(shù)據(jù)，并且不需要預(yù)先配置或管理服務(wù)器。

敏捷：EMR Serverless可以快速啟動(dòng)和關(guān)閉，并且只在需要處理數(shù)據(jù)時(shí)才會(huì)消耗資源，從而使得用戶能夠快速構(gòu)建數(shù)據(jù)處理任務(wù)并有效地控制成本。通過(guò)性能優(yōu)化且兼容開(kāi)源API的Spark、Hive，性能最多可比開(kāi)源提升2倍。

快速啟動(dòng)時(shí)間：使用EMR Serverless可以立即開(kāi)始處理數(shù)據(jù)，無(wú)需預(yù)先配置或管理服務(wù)器。亞馬遜云科技負(fù)責(zé)所有底層過(guò)程，包括初始化、配置、升級(jí)和維護(hù)所需的硬件和軟件。這意味著您可以在幾分鐘內(nèi)啟動(dòng)服務(wù)，并開(kāi)始分析數(shù)據(jù)。因此，EMR Serverless可以幫助分析團(tuán)隊(duì)節(jié)省大量時(shí)間和精力，加速數(shù)據(jù)分析應(yīng)用的上線時(shí)間。

高度可擴(kuò)展：Amazon EMR Serverless是一個(gè)高度可擴(kuò)展的分析服務(wù)，它可以自動(dòng)縮放以處理大規(guī)模數(shù)據(jù)集。這意味著您不必?fù)?dān)心預(yù)測(cè)未來(lái)需要多少容量，也不必在系統(tǒng)上做任何修改。EMR Serverless可以根據(jù)您的需求自動(dòng)伸縮，因此您可以專注于分析數(shù)據(jù)而不是管理基礎(chǔ)架構(gòu)。

成本效益：EMR Serverless使用按需定價(jià)模型，這意味著您只需支付實(shí)際使用的資源，而無(wú)需購(gòu)買(mǎi)或租賃整個(gè)服務(wù)器。這種靈活的定價(jià)模型使得EMR Serverless非常具有成本效益，特別是對(duì)于需要處理大規(guī)模數(shù)據(jù)集但無(wú)法準(zhǔn)確預(yù)測(cè)當(dāng)前和未來(lái)工作負(fù)載的企業(yè)。

高度安全性：亞馬遜云科技一直是云計(jì)算行業(yè)中最受信任的品牌之一，并且EMR Serverless繼承了亞馬遜云科技的安全性。EMR Serverless提供多層安全性，包括網(wǎng)絡(luò)安全性、身份驗(yàn)證和訪問(wèn)控制、加密和合規(guī)性。您可以放心地在EMR Serverless上進(jìn)行分析工作，而不用擔(dān)心安全問(wèn)題。

多可用區(qū)域設(shè)計(jì)：Amazon EMR Serverless服務(wù)原生設(shè)計(jì)支持多可用區(qū)域的部署，用戶提交作業(yè)會(huì)自動(dòng)在一個(gè)可用區(qū)域內(nèi)執(zhí)行。在容災(zāi)情況下，失敗的作業(yè)會(huì)被自動(dòng)提交給其他可用區(qū)域執(zhí)行而無(wú)需人工干預(yù)，保障了高可用性和任務(wù)的穩(wěn)定性。

客戶案例

在re:Invent 2022上，流媒體巨頭Disney+分享了他們?cè)贓MR Serverless上的使用體驗(yàn)。由于業(yè)務(wù)場(chǎng)景非常復(fù)雜，涉及到多團(tuán)隊(duì)和跨部門(mén)的數(shù)據(jù)協(xié)作以及海量數(shù)據(jù)場(chǎng)景，因此需要強(qiáng)大的數(shù)據(jù)基礎(chǔ)設(shè)施。而Disney+的數(shù)據(jù)平臺(tái)涵蓋了100個(gè)賬號(hào)、20PB的數(shù)據(jù)，并且來(lái)自Disney+、ESPN+和Hulu的15個(gè)以上團(tuán)隊(duì)都需要對(duì)這些數(shù)據(jù)進(jìn)行分析。最初他們選擇在Amazon EC2上部署大數(shù)據(jù)分析平臺(tái)，但是遇到了運(yùn)維困難、高可用配置和大數(shù)據(jù)處理效率等問(wèn)題。后來(lái)，他們轉(zhuǎn)向使用Amazon EMR Serverless作為大數(shù)據(jù)平臺(tái)部署模式。EMR Serverless在多租戶、多應(yīng)用、多任務(wù)場(chǎng)景下具有高性能和彈性伸縮特性，解決了他們遇到的性能和管理問(wèn)題，給他們留下了深刻的印象。

架構(gòu)圖：一個(gè)關(guān)于Disney+如何使用Amazon EMR Serverless的直觀架構(gòu)、