構(gòu)建Serverless數(shù)據(jù)分析戰(zhàn)略，Amazon EMR Serverless在中國區(qū)域上線

您現(xiàn)在可以通過由光環(huán)新網(wǎng)運營的亞馬遜云科技中國（北京）區(qū)域和由西云數(shù)據(jù)運營的亞馬遜云科技中國（寧夏）區(qū)域使用Amazon EMR Serverless，這是一種無服務器部署選項，客戶可以使用Apache Spark和Hive等開源框架運行大數(shù)據(jù)分析應用程序，而無需配置、管理和擴展集群或服務器。

Amazon EMR是行業(yè)領(lǐng)先的大數(shù)據(jù)分析服務，適用于使用開源框架進行PB級數(shù)據(jù)處理、交互分析和機器學習，它可以更快地運行大數(shù)據(jù)應用并且成本不到本地解決方案成本的一半。通過性能優(yōu)化且兼容開源API的Spark、Hive和Presto版本，洞察時間提升為原來的2倍。

Amazon EMR Serverless是Amazon EMR的無服務器部署選項，客戶無需配置、管理和擴展集群或服務器即可運行大數(shù)據(jù)分析應用程序。

新技術(shù)的涌現(xiàn)

給應用代碼編寫帶來革新

隨著信息技術(shù)的不斷發(fā)展，計算機編程已經(jīng)成為了現(xiàn)代社會中必不可少的一部分。然而，編寫代碼仍然是一個相對繁瑣和耗時的過程，需要開發(fā)人員花費大量時間和精力來創(chuàng)建和維護應用程序。

在未來，隨著新技術(shù)的不斷涌現(xiàn)，我們可以看到編寫代碼的方式將會發(fā)生根本變化。未來，唯一需要書寫的代碼是“業(yè)務邏輯”，因為其他所有的基礎設施和框架都由機器自動完成。

在未來，基于Serverless的特性，每一行代碼都將為業(yè)務場景而寫。開發(fā)者不再需要關(guān)注底層服務器和基礎設施的管理，而是能夠?qū)Ｗ⒂跇?gòu)建出色的應用程序和功能，以實現(xiàn)更高效的業(yè)務流程和更好的用戶體驗。Serverless將使得開發(fā)者可以根據(jù)需要快速創(chuàng)建、測試和部署代碼，同時享受自動擴容、彈性可靠性以及安全性等方面的優(yōu)勢。這一愿景將加速軟件開發(fā)的速度，提高生產(chǎn)力，并且使得技術(shù)更貼近業(yè)務需求。

亞馬遜云科技提供了全面的Serverless數(shù)據(jù)分析服務選項，包括Amazon Redshift數(shù)據(jù)倉庫、Amazon EMR大數(shù)據(jù)平臺、Amazon Kinesis流式處理、Amazon QuickSight商業(yè)智能工具等。這些服務可以幫助企業(yè)收集、存儲、處理和分析海量數(shù)據(jù)，以便更好地理解客戶行為、優(yōu)化業(yè)務決策并探索新機會。此外，亞馬遜云科技還提供了一系列與數(shù)據(jù)相關(guān)的托管服務，例如Amazon RDS關(guān)系型數(shù)據(jù)庫、Amazon DynamoDB云原生數(shù)據(jù)庫，以及Amazon S3對象存儲服務?？梢暂p松快速地創(chuàng)建基于云的數(shù)據(jù)庫、數(shù)據(jù)湖和數(shù)據(jù)倉庫，為企業(yè)提供高性能、可擴展和安全的數(shù)據(jù)管理解決方案。

選擇Amazon EMR Serverless的6個理由：

Amazon EMR Serverless是一種快速、可擴展、彈性的分析服務，為企業(yè)提供了一種有效的方式來處理大規(guī)模數(shù)據(jù)，并且不需要預先配置或管理服務器。

敏捷：EMR Serverless可以快速啟動和關(guān)閉，并且只在需要處理數(shù)據(jù)時才會消耗資源，從而使得用戶能夠快速構(gòu)建數(shù)據(jù)處理任務并有效地控制成本。通過性能優(yōu)化且兼容開源API的Spark、Hive，性能最多可比開源提升2倍。

快速啟動時間：使用EMR Serverless可以立即開始處理數(shù)據(jù)，無需預先配置或管理服務器。亞馬遜云科技負責所有底層過程，包括初始化、配置、升級和維護所需的硬件和軟件。這意味著您可以在幾分鐘內(nèi)啟動服務，并開始分析數(shù)據(jù)。因此，EMR Serverless可以幫助分析團隊節(jié)省大量時間和精力，加速數(shù)據(jù)分析應用的上線時間。

高度可擴展：Amazon EMR Serverless是一個高度可擴展的分析服務，它可以自動縮放以處理大規(guī)模數(shù)據(jù)集。這意味著您不必擔心預測未來需要多少容量，也不必在系統(tǒng)上做任何修改。EMR Serverless可以根據(jù)您的需求自動伸縮，因此您可以專注于分析數(shù)據(jù)而不是管理基礎架構(gòu)。

成本效益：EMR Serverless使用按需定價模型，這意味著您只需支付實際使用的資源，而無需購買或租賃整個服務器。這種靈活的定價模型使得EMR Serverless非常具有成本效益，特別是對于需要處理大規(guī)模數(shù)據(jù)集但無法準確預測當前和未來工作負載的企業(yè)。

高度安全性：亞馬遜云科技一直是云計算行業(yè)中最受信任的品牌之一，并且EMR Serverless繼承了亞馬遜云科技的安全性。EMR Serverless提供多層安全性，包括網(wǎng)絡安全性、身份驗證和訪問控制、加密和合規(guī)性。您可以放心地在EMR Serverless上進行分析工作，而不用擔心安全問題。

多可用區(qū)域設計：Amazon EMR Serverless服務原生設計支持多可用區(qū)域的部署，用戶提交作業(yè)會自動在一個可用區(qū)域內(nèi)執(zhí)行。在容災情況下，失敗的作業(yè)會被自動提交給其他可用區(qū)域執(zhí)行而無需人工干預，保障了高可用性和任務的穩(wěn)定性。

客戶案例

在re:Invent 2022上，流媒體巨頭Disney+分享了他們在EMR Serverless上的使用體驗。由于業(yè)務場景非常復雜，涉及到多團隊和跨部門的數(shù)據(jù)協(xié)作以及海量數(shù)據(jù)場景，因此需要強大的數(shù)據(jù)基礎設施。而Disney+的數(shù)據(jù)平臺涵蓋了100個賬號、20PB的數(shù)據(jù)，并且來自Disney+、ESPN+和Hulu的15個以上團隊都需要對這些數(shù)據(jù)進行分析。最初他們選擇在Amazon EC2上部署大數(shù)據(jù)分析平臺，但是遇到了運維困難、高可用配置和大數(shù)據(jù)處理效率等問題。后來，他們轉(zhuǎn)向使用Amazon EMR Serverless作為大數(shù)據(jù)平臺部署模式。EMR Serverless在多租戶、多應用、多任務場景下具有高性能和彈性伸縮特性，解決了他們遇到的性能和管理問題，給他們留下了深刻的印象。

架構(gòu)圖：一個關(guān)于Disney+如何使用Amazon EMR Serverless的直觀架構(gòu)、