騰訊云Serverless聯(lián)合Second State戰(zhàn)略布局AI推理

人臉識別、體感測溫、圖片轉(zhuǎn)文字等AI推理函數(shù)在許多場景已經(jīng)得到了成熟應(yīng)用。從AI算法到數(shù)據(jù)準備、再到訓練模型，這一過程已經(jīng)有成熟的工具支持。但是如何將訓練好的AI模型帶到生產(chǎn)環(huán)境，一直是極具挑戰(zhàn)的問題。

在服務(wù)器上部署AI推理軟件（比如Tensorflow的服務(wù)器版，或者使用AI SaaS云服務(wù)，都可以在一定程度上解決這個問題，但是，部署自己的服務(wù)器需要在生產(chǎn)環(huán)境中運維復雜的AI軟件棧，并且需要為閑置資源付費；使用AI SaaS云服務(wù)則會受到SaaS云服務(wù)對模型以及數(shù)據(jù)處理邏輯的限制。

近日，騰訊云Serverless與Second State戰(zhàn)略布局AI推理函數(shù)，使開發(fā)者方便快捷地在生產(chǎn)環(huán)境中部署自己開發(fā)的AI推理函數(shù)，并且不用運維，自動伸縮，按使用付費。為開發(fā)者賦能，在保證用戶體驗的前提下降低成本。

Serverless讓AI推理函數(shù)更加簡單

Serverless被認為是繼虛擬機和容器之后，第三代通用計算平臺。作為一種新型的開發(fā)架構(gòu)，Serverless具備低成本、低故障風險、高擴展性以及交付周期短等優(yōu)勢。Serverless能夠讓開發(fā)者更加聚焦業(yè)務(wù)本身，而無需關(guān)注復雜的服務(wù)器配置和管理，省去了大量的運維操作。

2020年第一季度，F(xiàn)orrester發(fā)布的《The Forrester New Wave:Function-as-a-Service Platforms,Q1 2020》報告中，騰訊云FaaS能力憑借在產(chǎn)品體驗、安全性、戰(zhàn)略愿景等方面的優(yōu)勢，綜合評分位居全球前三，中國第一，成為中國唯一進入全球Top3的云廠商，F(xiàn)orrester官方給予“強勁表現(xiàn)者”評價。

同時，根據(jù)Grand View Search在2020年6月發(fā)布的報告，AI市場在2020年將達到624億美元，并且從2020年到2027年，AI市場的復合年增長率為42.2%，也就是說AI市場在2027年將達到7337億美元的規(guī)模，將AI部署在Serverless平臺上是未來的趨勢。

Second State與騰訊云Serverless的技術(shù)合作打通了將AI模型帶到生產(chǎn)環(huán)境的最后一關(guān)。基于騰訊云Serverless custom runtime、Serverless Framework、WebAssembly虛擬機SSVM，Second State與騰訊云Serverless發(fā)布了一個方便易用的Serverless AI推理云函數(shù)模板。在這個模板的基礎(chǔ)上，開發(fā)者可以依據(jù)自己的場景需求更改模板中的AI模型以及業(yè)務(wù)邏輯，然后直接部署云函數(shù)并且看到結(jié)果，從而極大降低了AI推理的使用門檻。

通過Serverless架構(gòu)部署AI推理云函數(shù)，開發(fā)者無需關(guān)注底層架構(gòu)，只用關(guān)注選擇哪種模型及開發(fā)其相應(yīng)的業(yè)務(wù)代碼即可。這既避免了使用傳統(tǒng)服務(wù)器的資源閑置及高昂成本，也避免了SaaS的限制。

具體而言，騰訊云Serverless為AI推理云函數(shù)提供了1毫秒計費、按需付費、彈性伸縮、秒級部署、免運維等優(yōu)勢。

云計算中的WebAssembly

WebAssembly最初是發(fā)源于瀏覽器的技術(shù)。隨著技術(shù)的不斷發(fā)展，WebAssembly的沙箱隔離機制帶來了安全性，同時又不失性能。這些特點使WebAssembly逐漸成為了服務(wù)端開發(fā)者的重要工具。

隨著WASI（WebAssembly System Interface）的提出，WebAssembly在服務(wù)端的潛力愈發(fā)明顯。

2019年，Docker的聯(lián)合創(chuàng)始人Solomon Hykes發(fā)推稱，如果WASM+WASI在2008年就存在了，那也就沒必要創(chuàng)建Docker了。服務(wù)端的WebAssembly就是這么重要。

本次騰訊云Serverless與Second State發(fā)布的Serverless AI推理函數(shù)就使用了WebAssembly虛擬機SSVM。SSVM是針對服務(wù)端優(yōu)化的WebAssembly虛擬機，特別適合AI、大數(shù)據(jù)等計算密集型場景。根據(jù)IEEE Software發(fā)表的《A Lightweight Design for High-performance Serverless Computing》，SSVM是目前市場上最快的WebAssembly虛擬機。

SSVM添加了類WASI的擴展wasi-tensorflow，使TensorFlow模型能夠以硬件速度運行。WebAssembly虛擬機在這個過程中提供了安全性、可移植性和開發(fā)者易用性。

本次發(fā)布的Serverless AI推理函數(shù)的另一個亮點是它是用Rust語言編寫的。Rust因具有內(nèi)存安全、高性能等特點而深受開發(fā)者喜愛。Rust連續(xù)五年被Stack Overflow用戶選為最受歡迎的編程語言。我們認為Rust與WebAssembly的黃金組合非常適合計算密集型任務(wù)。

“Rust與WebAssembly的結(jié)合約等于Java與JVM，是下一代云計算的未來?！盨econd State的Michael Yuan博士在Rust China Conf分享道。

未來，Second State將與騰訊云Serverless繼續(xù)深耕產(chǎn)品，共同探索與實踐Serverless AI推理的應(yīng)用，為廣大企業(yè)與開發(fā)者賦能。