阿里云飛天AI加速器+Serverless容器 幫助圖森未來(lái)提升資源利用率

圖森未來(lái)（TuSimple）成立于2015年，是一家專(zhuān)注于L4級(jí)無(wú)人駕駛卡車(chē)技術(shù)研發(fā)與應(yīng)用的人工智能企業(yè)，已經(jīng)實(shí)現(xiàn)卡車(chē)在干線(xiàn)物流場(chǎng)景和半封閉樞紐場(chǎng)景下的無(wú)人干預(yù)駕駛。圖森未來(lái)品牌旗下產(chǎn)品——圖森未來(lái)L4級(jí)別無(wú)人駕駛卡車(chē)能夠?qū)崿F(xiàn)環(huán)境感知、定位導(dǎo)航、決策控制等自動(dòng)駕駛核心功能，可應(yīng)用于高速公路貨運(yùn)和港內(nèi)集裝箱碼頭運(yùn)輸及其相似場(chǎng)景。

公司于2019年9月完成總額2.15億美元D輪融資，資方：UPS、鼎暉資本、萬(wàn)都中國(guó)、累計(jì)融資超過(guò)3億美元，最新估值超過(guò)12億美元，是卡車(chē)無(wú)人駕駛頭部企業(yè)，也是全球第一家無(wú)人駕駛卡車(chē)獨(dú)角獸企業(yè)。

圖森未來(lái)的業(yè)務(wù)主要在美國(guó)和國(guó)內(nèi)兩地展開(kāi)，在美國(guó)主要是高速公路干路貨運(yùn)場(chǎng)景，國(guó)內(nèi)業(yè)務(wù)開(kāi)始以連接樞紐場(chǎng)景的干線(xiàn)物流貨運(yùn)為主。

在美國(guó)，圖森未來(lái)已經(jīng)向包括UPS、USPS、McLane、U.S.Xpress在內(nèi)的18家客戶(hù)提供無(wú)人駕駛物流服務(wù)。

今年年初，圖森未來(lái)的無(wú)人駕駛卡車(chē)還上了“鋼鐵俠”的扮演者小羅伯特·唐尼主持的科技聚集劇集《The Age of A.I.》（《AI時(shí)代》），在劇中不僅順利完成無(wú)人駕駛的行駛?cè)蝿?wù)，還與圍追堵截的攝像車(chē)“斗智斗勇”，在攝像車(chē)各種找拍攝角度的情況下，自動(dòng)自我調(diào)整，化險(xiǎn)為夷，避讓既禮貌又安全。

國(guó)內(nèi)方面，2018年10月，圖森未來(lái)拿到國(guó)內(nèi)第一張針對(duì)無(wú)人駕駛卡車(chē)在公開(kāi)道路測(cè)試的測(cè)試牌照。依托上海市政府的政策支持，以及臨港片區(qū)真實(shí)場(chǎng)景的需求，圖森未來(lái)的無(wú)人駕駛卡車(chē)已經(jīng)在東海大橋上進(jìn)行了長(zhǎng)時(shí)間的測(cè)試，截至2020年7月，累計(jì)測(cè)試?yán)锍桃殉^(guò)5萬(wàn)公里，具備了在東海大橋上不需要接管的無(wú)人駕駛能力。

在北京，圖森未來(lái)攜手北汽福田、首發(fā)集團(tuán)等合作伙伴，實(shí)現(xiàn)了在京禮高速（延崇北京段）總長(zhǎng)14公里（包括9.8公里連續(xù)特長(zhǎng)隧道群路段）的三車(chē)無(wú)人駕駛隊(duì)列跟弛測(cè)試，順利完成中國(guó)首次高速公路全封閉環(huán)境下、基于C-V2X車(chē)路協(xié)同技術(shù)的隊(duì)列跟馳測(cè)試工作。

飛天AI加速器提升訓(xùn)練性能，加速模型迭代

一臺(tái)車(chē)自動(dòng)駕駛卡車(chē)，兩個(gè)星期會(huì)產(chǎn)生大約50TB的數(shù)據(jù)。圖森未來(lái)目前有超過(guò)70臺(tái)卡車(chē)在上路，意味著每天有大量的數(shù)據(jù)產(chǎn)生。為了讓自動(dòng)駕駛卡車(chē)更聰明，就需要不斷地積累更多的真實(shí)數(shù)據(jù)集訓(xùn)練它目標(biāo)檢測(cè)與物體識(shí)別框架的能力。

隨著業(yè)務(wù)高速發(fā)展，迭代越來(lái)越快，圖森未來(lái)的模型也越來(lái)越復(fù)雜。每次模型迭代，都需要短時(shí)間調(diào)度大規(guī)模的GPU資源來(lái)分布式地進(jìn)行模型訓(xùn)練。

然而，GPU服務(wù)器采購(gòu)成本高，運(yùn)維復(fù)雜，圖森未來(lái)不得不投入越來(lái)越多的精力到運(yùn)維工作中；更重要的是，圖森未來(lái)發(fā)現(xiàn)，隨著所用GPU數(shù)量增長(zhǎng)，GPU的利用率卻并不高。

為什么會(huì)這樣？理論上來(lái)說(shuō)，GPU卡越多，整體算力越大，但是隨著機(jī)器數(shù)的增加，不同機(jī)器的GPU之間的配合難度會(huì)越來(lái)越大，單張GPU卡的利用率反而會(huì)下降。所以增加了幾十倍的卡的成本，但是性能卻很難隨之線(xiàn)性增長(zhǎng)。

阿里云的飛天AI加速器AIACC團(tuán)隊(duì)，針對(duì)圖森未來(lái)的場(chǎng)景，在底層針對(duì)通訊、計(jì)算、時(shí)延和帶寬等做了深度優(yōu)化，將訓(xùn)練性能提升了將近60%，大大縮短了圖森未來(lái)的模型優(yōu)化時(shí)間，加速模型迭代，提高技術(shù)門(mén)檻。

飛天AI加速器是AIACC業(yè)界首個(gè)統(tǒng)一加速，Tensorflow、MXNet、Caffe、PyTorch等主流深度學(xué)習(xí)框架的加速引擎，拿下斯坦福深度學(xué)習(xí)榜單Dawnbench圖像識(shí)別四個(gè)世界第一。

Serverless容器，提升仿真測(cè)試效率，縮短60%模型測(cè)試時(shí)間

每次迭代的模型訓(xùn)練完成之后，圖森未來(lái)需要對(duì)優(yōu)化后的模型進(jìn)行測(cè)試。如果每次都要上路測(cè)試，成本大、風(fēng)險(xiǎn)高、而且不能驗(yàn)證各種極端情況。

幸虧，圖森未來(lái)有個(gè)汽車(chē)仿真平臺(tái)，模擬在各種環(huán)境下（例如：晴天、陰天、雨天、霧霾天、夜晚），模型的處理能力。

這種測(cè)試任務(wù)依賴(lài)開(kāi)發(fā)人員的開(kāi)發(fā)節(jié)奏，具有突發(fā)、臨時(shí)、短期的特征，并且需要的算力規(guī)模非常大，如果包年包月地購(gòu)買(mǎi)海量算力，則很多時(shí)候都處于閑置狀態(tài)，需求來(lái)了可能算力又不夠用，仿真模擬任務(wù)需要排隊(duì)完成，影響開(kāi)發(fā)人員的開(kāi)發(fā)效率和模型的迭代速度。

由于圖森未來(lái)的整體業(yè)務(wù)架構(gòu)早已實(shí)現(xiàn)容器化，為這類(lèi)臨時(shí)高峰場(chǎng)景做好了敏捷的業(yè)務(wù)儲(chǔ)備。通過(guò)阿里云ASK（Alibaba Cloud Serverless Kubernetes）容器服務(wù)，圖森未來(lái)可以在需要測(cè)試的時(shí)候，在阿里云上秒級(jí)啟動(dòng)大規(guī)模的容器集群，即刻獲取海量算力，縮短了60%的模型測(cè)試時(shí)間；完成測(cè)試之后迅速釋放算力，避免資源浪費(fèi)。

阿里云ASK是Serverless免運(yùn)維的K8s容器服務(wù)，底層使用阿里云ECI（Elastic Container Instance彈性容器實(shí)例）作為容器計(jì)算基礎(chǔ)設(shè)施，提供高彈性、低成本、免運(yùn)維的Serverless容器運(yùn)行環(huán)境，免去用戶(hù)對(duì)容器集群的運(yùn)維和容量規(guī)劃工作，大大節(jié)省了圖森未來(lái)運(yùn)維的工作量。

另外，ASK的計(jì)費(fèi)粒度精確到秒，非常適用于仿真計(jì)算這類(lèi)突發(fā)的高并發(fā)短時(shí)任務(wù)；針對(duì)長(zhǎng)期的訓(xùn)練任務(wù)，圖森未來(lái)則使用包年包月的ACK（Alibaba Cloud Kubernetes）。通過(guò)適用于長(zhǎng)短任務(wù)的ACK+ASK產(chǎn)品搭配，即提升了圖森未來(lái)的資源利用率，又節(jié)省了成本。