揭秘Amazon Go無(wú)人商店是如何煉成的

人工智能（AI）已經(jīng)發(fā)展了多年，機(jī)器學(xué)習(xí)（ML）和深度學(xué)習(xí)也早已不是陌生的概念。

長(zhǎng)期以來(lái)，ML技術(shù)僅限于少數(shù)大型科技公司和專業(yè)學(xué)習(xí)研究人員，但是，當(dāng)云計(jì)算進(jìn)入AI領(lǐng)域之后，ML逐漸發(fā)展成為一種主流的技術(shù)。

算法、計(jì)算能力與數(shù)據(jù)的潛力被激發(fā)出來(lái)，以ML為代表的人工智能正在走向舞臺(tái)的中央，并成為金融、零售、時(shí)尚、房地產(chǎn)、醫(yī)療保健、制造業(yè)等多個(gè)行業(yè)的核心競(jìng)爭(zhēng)力。

亞馬遜云科技早就注意到了這一臨界點(diǎn)的到來(lái)，因?yàn)槠髽I(yè)中的AI/ML的用例正在顯著的增加。通過(guò)智能交互、個(gè)性化和推薦系統(tǒng)等功能，客戶體驗(yàn)正在發(fā)生著顯著的變化。

比如在零售領(lǐng)域，基于AI的需求預(yù)測(cè)將錯(cuò)誤減少了30-50%，同時(shí)將由于產(chǎn)品不可用導(dǎo)致的銷售額損失減少了65%。可以說(shuō)AI/ML正在幫助公司做出更好、更快的決策。

Amazon本身就是一個(gè)非常好的例子。經(jīng)歷了多年ML探索實(shí)踐，Amazon成為了你今天所看到的由ML驅(qū)動(dòng)的企業(yè)。ML是Amazon創(chuàng)新最重要的一個(gè)部分。隨著時(shí)間的推移，Amazon持續(xù)改進(jìn)早期的簡(jiǎn)單的個(gè)性化模型，并將其應(yīng)用到了如Amazon Prime這樣的產(chǎn)品中。這樣的轉(zhuǎn)變即便對(duì)Amazon而言也是相當(dāng)巨大的。

但是想做到這一點(diǎn)并不難，我們始終相信這是每個(gè)企業(yè)都可以做到的。

2015年12月5日，亞馬遜宣布推出革命性線下實(shí)體商店——Amazon Go。在2018年1月22日，Amazon Go向公眾開(kāi)放。

還沒(méi)體驗(yàn)過(guò)Amazon Go的魅力？那就先看看下面的這支視頻吧~

那么，Amazon Go是如何實(shí)現(xiàn)從傳統(tǒng)收銀結(jié)算，到“Just Walk Out”的跨越的呢？看看本屆INNOVATE上我們的技術(shù)大咖費(fèi)老師如何解答！

在實(shí)現(xiàn)“Just Walk Out”的過(guò)程中，

我們要解決一個(gè)基礎(chǔ)的問(wèn)題即

到底是哪個(gè)人，拿了哪件東西

我們的挑戰(zhàn)

看起來(lái)這是一個(gè)簡(jiǎn)單的目標(biāo)，其實(shí)擺在我們面前的是一個(gè)巨大的挑戰(zhàn)。

試想一下，商場(chǎng)里布滿擁擠的人群，人們?cè)谫?gòu)物，孩子們四處奔跑，嬰兒車上的嬰兒還在熟睡，人們并不總是拿上商品然后離開(kāi)——他們往往挑選一個(gè)商品，看看它，然后把它放回貨架上；或者有時(shí)他們把它放回另一個(gè)貨架上。

而這意味著龐大的數(shù)據(jù)處理與計(jì)算的需求。

為了解決這一問(wèn)題，我們打造了這樣的架構(gòu)方案。它由流媒體服務(wù)、入口出口管理服務(wù)和Just Walk Out Technology共同組成。

這三個(gè)模塊一起幫我們解決“在人海中，到底是誰(shuí)拿了哪件商品”這一“終極問(wèn)題”。

首先來(lái)說(shuō)流媒體服務(wù)

圖中頂部的部分代表了店鋪中部署的設(shè)備：這些設(shè)備包括了專門(mén)制作的攝像頭以及我們用于商品銷售的傳感器。

流媒體服務(wù)負(fù)責(zé)將視頻從商店中運(yùn)行的攝像頭傳輸?shù)叫枰谠浦?。為了使算法發(fā)揮作用，就需要在客戶挑選或放回商品時(shí)可靠地捕捉視頻圖像以實(shí)現(xiàn)“真實(shí)時(shí)刻”。而處理視頻的算法則在亞馬遜云科技的云中運(yùn)行。

一旦將視頻傳入云端，我們需要提供一種使它們可用于算法進(jìn)行處理的方法。因此，我們準(zhǔn)備了一套服務(wù)負(fù)責(zé)存儲(chǔ)和索引這些視頻，它們提供了視頻檢索的接口，這些接口由視頻處理應(yīng)用所使用。

此外，在現(xiàn)實(shí)世界中，事情并不總是順利運(yùn)行，所以必須要處理各種各樣的意外。因此，我們也設(shè)計(jì)了檢測(cè)攝像頭故障、網(wǎng)絡(luò)延遲、和服務(wù)器故障的系統(tǒng)，來(lái)有效地處理這些故障。

基于這些高可用性、高吞吐量的服務(wù)集群們提供的基礎(chǔ)架構(gòu)，我們得以構(gòu)建“just walk out”技術(shù)。

接著我們來(lái)談?wù)劤隹谌肟诠芾矸?wù)

與傳統(tǒng)商店不同，在Amazon Go這里沒(méi)有收銀柜臺(tái)。但是，仍然需要獲得支付工具（信用卡），在客戶離開(kāi)商店后，我們可以使用該工具向客戶收取費(fèi)用。

為此我們建立了一種體驗(yàn)，讓買(mǎi)家使用Amazon Go的應(yīng)用進(jìn)入商店，并將他們與他們的Amazon帳戶和存儲(chǔ)的付款方式相關(guān)聯(lián)。我們統(tǒng)稱這些我們的“入口和出口”服務(wù)，他們負(fù)責(zé)管理客戶會(huì)話和相關(guān)付款方式。

在這個(gè)過(guò)程中，我們面臨的挑戰(zhàn)之一是需要打造感覺(jué)自然且無(wú)縫的“流暢感”。

因此我們?cè)O(shè)計(jì)了入口門(mén)的硬件和軟件，使客戶可以自然的朝下掃描二維碼，而系統(tǒng)可快速地驗(yàn)證客戶身份，并打開(kāi)門(mén)，所有的這一切通常在不到一秒鐘的時(shí)間內(nèi)完成。在出口上我們也做了同樣的設(shè)計(jì)，以全面的免去客戶不必要的動(dòng)作。

另一個(gè)挑戰(zhàn)是如何能夠適應(yīng)現(xiàn)實(shí)世界的情況，因?yàn)楝F(xiàn)實(shí)中的場(chǎng)景比模型復(fù)雜的多。

例如，在理想的世界中，我們希望每一位客戶在進(jìn)入商店時(shí)只掃描一次。然而，有時(shí)人們掃描手機(jī)，但后來(lái)他們分心，并開(kāi)始與朋友交談，所以他們掃描兩次之前進(jìn)入商店。我們的系統(tǒng)必須足夠聰明才能處理所有這些邊緣案例。

最后，我們需要明智地管理家庭購(gòu)物的場(chǎng)景，或者說(shuō)，一組打算共同付款的客戶。在這種情況下，某人是一組領(lǐng)導(dǎo)人，在組中的每個(gè)成員進(jìn)入商店時(shí)掃描他的手機(jī)。但顯然他們中的任何人都可以隨時(shí)離開(kāi)商店，所以會(huì)話管理邏輯必須在這些情況下正常工作。

因此，作為入口/出口服務(wù)的一部分，我們構(gòu)建了用于驗(yàn)證客戶帳戶、組關(guān)聯(lián)和會(huì)話管理的系統(tǒng)?？偟膩?lái)說(shuō)，這些服務(wù)的輸出是當(dāng)前在商店中處于活動(dòng)狀態(tài)的一組客戶的會(huì)話以及每個(gè)服務(wù)的相關(guān)支付方式。

最后來(lái)說(shuō)核心的Just Walk Out技術(shù)

“Just Walk Out”技術(shù)是架構(gòu)的核心部分。這是系統(tǒng)的大腦。它基于深度學(xué)習(xí)算法，解決的是“誰(shuí)拿了什么”的問(wèn)題。

首先讓我們看看如何解決“誰(shuí)”這個(gè)問(wèn)題。為了解決它，我們需要的是從店鋪入口到出口的客戶的全程的定位。因此這個(gè)方案中包含三個(gè)主要模塊：定位器、鏈接器和復(fù)雜狀態(tài)解析器。

在Amazon Go店鋪里布置的每個(gè)攝像頭都會(huì)產(chǎn)生一個(gè)3D點(diǎn)云?；跀z像頭的校準(zhǔn)參數(shù)們將這些參數(shù)聚合為一個(gè)全局表示，并提取移動(dòng)對(duì)象。當(dāng)然并非所有的移動(dòng)物體對(duì)應(yīng)的都是人，還可能是籃子、推車、嬰兒車等。人員定位器查看分段的數(shù)據(jù)，并決定它是某人或者是另一個(gè)對(duì)象。

然后，我們將人員在一個(gè)幀中的位置鏈接到下一個(gè)幀，為每個(gè)人的數(shù)據(jù)分配一個(gè)標(biāo)簽，鏈接器將標(biāo)簽從一個(gè)幀保留到下一個(gè)幀。有時(shí)候，當(dāng)人們彼此接近時(shí)，這使得識(shí)別變得困難，稱之為糾結(jié)狀態(tài)。因此，要對(duì)人員位置的不確定性進(jìn)行建模，并通過(guò)運(yùn)動(dòng)和圖像特征來(lái)解決人員位置的不確定性的問(wèn)題。

現(xiàn)在我們已經(jīng)知道如何解決“誰(shuí)”的部分，那么讓我們?cè)賮?lái)看看“拿了什么”這部分。這一部分面臨的主要挑戰(zhàn)是——在Amazon Go我們有許多商品，包括即食食品、餐具包、飲料。而這些商品在視覺(jué)上看起來(lái)往往會(huì)非常相似。

結(jié)合產(chǎn)品分類（通過(guò)索引方案）和基于殘差網(wǎng)絡(luò)的細(xì)粒度識(shí)別來(lái)解決這個(gè)問(wèn)題。這種方法可識(shí)別成千上萬(wàn)的產(chǎn)品，并且能夠適應(yīng)店鋪里照明變化、陰影和反射的影響。

這樣通過(guò)流媒體服務(wù)、入口出口管理服務(wù)和Just Walk Out Technology的共同合作，我們就這樣打造了一個(gè)具備流暢體驗(yàn)的無(wú)人店鋪~

我們見(jiàn)證了AI技術(shù)賦能零售業(yè)所帶來(lái)的便利，但AI的賦能不止于此。亞馬遜云科技始終利用產(chǎn)品和技術(shù)幫助更多行業(yè)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新。