亞馬遜云科技關(guān)于機(jī)器學(xué)習(xí)的“靈魂拷問” ，這樣的答案硬核！| 云途專欄

在當(dāng)今時(shí)代

AI與機(jī)器學(xué)習(xí)的社會影響毋庸置疑

2021年

ARK Invest發(fā)布了年度大創(chuàng)意報(bào)告

Big Ideas 2021

強(qiáng)調(diào)了在創(chuàng)新領(lǐng)域的最新發(fā)展

并將深度學(xué)習(xí)（Deep Learning）

列為本世紀(jì)最重要的軟件突破

本期《云途》

我們將深入了解

企業(yè)在開發(fā)機(jī)器學(xué)習(xí)潛能時(shí)

可以為企業(yè)高層所用

讓其借鑒并學(xué)習(xí)的規(guī)律

調(diào)研結(jié)果顯示，人們對人工智能（AI）/機(jī)器學(xué)習(xí)（ML）作為轉(zhuǎn)型工具時(shí)所發(fā)揮的價(jià)值有一定認(rèn)識，但在探討其意義以及如何確定項(xiàng)目優(yōu)先級的時(shí)候，人們的看法卻有明顯區(qū)別。

如何讓企業(yè)高效發(fā)揮出這些工具的潛能？在現(xiàn)實(shí)中，我們大多數(shù)人每天都要多次用到基于AI和ML的系統(tǒng)。例如，您給一張支票拍照，銀行所開發(fā)的機(jī)器學(xué)習(xí)系統(tǒng)就能識別出支票上寫的內(nèi)容。

機(jī)器學(xué)習(xí)在我們?nèi)粘Ｉ钪械钠占?，證明了企業(yè)利用創(chuàng)新技術(shù)的優(yōu)勢正在擴(kuò)大，但是，這并不代表企業(yè)已經(jīng)做到了完美，畢竟企業(yè)一方面承認(rèn)機(jī)器學(xué)習(xí)的價(jià)值，另一方面又不愿賦予其業(yè)務(wù)優(yōu)先級和這項(xiàng)技術(shù)本應(yīng)有的地位。

一直以來，亞馬遜云科技機(jī)器學(xué)習(xí)解決方案實(shí)驗(yàn)室，已經(jīng)幫助無數(shù)的客戶采用了機(jī)器學(xué)習(xí)技術(shù)，而其中大多數(shù)成功的案例都表現(xiàn)出了以下的特點(diǎn)。

為了幫助企業(yè)更好地應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，我們?yōu)槠髽I(yè)制定了雄心勃勃、自上而下的愿景。此外，還要求企業(yè)必須把機(jī)器學(xué)習(xí)定為最高業(yè)務(wù)優(yōu)先級。

如果沒有這些舉措的話，企業(yè)對機(jī)器學(xué)習(xí)的巨大轉(zhuǎn)型價(jià)值將僅停留在理解層面，而很難真正獲得切實(shí)收益。

當(dāng)整個(gè)組織架構(gòu)都持開放的狀態(tài)，數(shù)據(jù)可以幫助企業(yè)做更好的決策，更好地應(yīng)對突發(fā)事件，增強(qiáng)客戶體驗(yàn)，發(fā)現(xiàn)新的業(yè)務(wù)機(jī)會，并提高員工的工作效率。

Q1 企業(yè)在應(yīng)用過程中還有哪些短板需要補(bǔ)齊？最常遇到的障礙又有哪些呢？

事實(shí)證明，過去的五年，企業(yè)最常遇到的障礙是技術(shù)瓶頸，換種方式來說，與成本息息相關(guān)。

從前，只有那些技術(shù)成熟的大型企業(yè)，才有能力負(fù)擔(dān)技術(shù)基礎(chǔ)架構(gòu)和人力來應(yīng)用機(jī)器學(xué)習(xí)。

如今，云計(jì)算已經(jīng)消除了這些障礙，現(xiàn)在的公司無論規(guī)模大小還是專業(yè)技能水平高低，都可以廣泛地應(yīng)用機(jī)器學(xué)習(xí)。

現(xiàn)階段，我們看到企業(yè)遇到的障礙通常聚焦在業(yè)務(wù)和文化層面。要定義并執(zhí)行一個(gè)野心勃勃的愿景并非易事，還需要時(shí)間的積累。

開發(fā)機(jī)器學(xué)習(xí)應(yīng)用要經(jīng)歷一個(gè)迭代的過程，需要經(jīng)歷不斷試驗(yàn)。如果一家企業(yè)的文化并不鼓勵試驗(yàn)精神，或者認(rèn)為必須避免失敗，那這就會成為一個(gè)巨大障礙。

不過一個(gè)有趣又令人欣慰的現(xiàn)象是，即使許多企業(yè)認(rèn)為失敗不可接受，機(jī)器學(xué)習(xí)仍然得到了越來越廣泛的應(yīng)用，這從某方面證明了機(jī)器學(xué)習(xí)技術(shù)的勢不可擋。在這種情況下，對試驗(yàn)文化的需求就愈發(fā)迫切。經(jīng)過不斷試驗(yàn)，企業(yè)從中獲取的經(jīng)驗(yàn)也會愈加豐富。

雖然對于某些類型的業(yè)務(wù)和行業(yè)來說，應(yīng)用機(jī)器學(xué)習(xí)的過程會相對較慢，但是這一技術(shù)仍然在日益普及。

Q2 人才、基礎(chǔ)架構(gòu)和應(yīng)用AI/ML問題的最佳化解之道是什么？

目前，雖然云計(jì)算解決了大部分基礎(chǔ)架構(gòu)的問題，但是企業(yè)仍然需要確保技術(shù)人才運(yùn)用合適的工具。

這也是為什么我們把機(jī)器學(xué)習(xí)服務(wù)打造成三層堆棧，堆棧從上至下，對機(jī)器學(xué)習(xí)專業(yè)技能的要求越來越高。企業(yè)剛剛踏上機(jī)器學(xué)習(xí)之旅時(shí)，就需要制定一個(gè)計(jì)劃來重新培訓(xùn)技術(shù)人員，并提供相應(yīng)的工具和服務(wù)。

對于剛剛接觸機(jī)器學(xué)習(xí)的公司來說，如果其軟件工程師擁有亞馬遜云科技的技術(shù)經(jīng)驗(yàn)，他們就立刻可以開始應(yīng)用高階的機(jī)器學(xué)習(xí)服務(wù)。

當(dāng)工程師進(jìn)一步深入地發(fā)展機(jī)器學(xué)習(xí)技能時(shí)，就可以研究下一層的堆棧。亞馬遜在培訓(xùn)自己的工程師掌握機(jī)器學(xué)習(xí)技術(shù)方面積累了很多成功經(jīng)驗(yàn)，因此我們也向您推薦這種方法。

您當(dāng)然可以從零開始組建自己的機(jī)器學(xué)習(xí)專家團(tuán)隊(duì)，但是我們認(rèn)為，培訓(xùn)您現(xiàn)有的技術(shù)人員，拓展他們的職業(yè)成功路徑，是有價(jià)值的。

Q3 很多公司都希望在AI方面的投入能得以顯現(xiàn)，如何讓那些非IT專業(yè)的領(lǐng)導(dǎo)層更好地了解AI以及AI如何符合他們的業(yè)務(wù)目標(biāo)？

亞馬遜在自身的業(yè)務(wù)領(lǐng)域中廣泛運(yùn)用AI/ML技術(shù)已有20余年的經(jīng)驗(yàn)。以往的經(jīng)驗(yàn)讓我們認(rèn)識到，必須同時(shí)向業(yè)務(wù)領(lǐng)導(dǎo)者和技術(shù)領(lǐng)導(dǎo)者普及機(jī)器學(xué)習(xí)。

為此，我們在亞馬遜內(nèi)部開發(fā)了相關(guān)培訓(xùn)課程。兩年前，我們將該技術(shù)培訓(xùn)，加入到亞馬遜機(jī)器學(xué)習(xí)大學(xué)課程。

一年前，我們在re:Invent峰會上推出了Embark課程，該課程結(jié)合了機(jī)器學(xué)習(xí)大學(xué)的技術(shù)培訓(xùn)以及針對業(yè)務(wù)領(lǐng)導(dǎo)層定制的新課程。

Embark項(xiàng)目的主要目的就是揭開機(jī)器學(xué)習(xí)的神秘面紗。在完成Embark業(yè)務(wù)培訓(xùn)之后，高層領(lǐng)導(dǎo)者就會明白機(jī)器學(xué)習(xí)最適合解決哪類問題，以及如何確定哪些業(yè)務(wù)領(lǐng)域應(yīng)該適用機(jī)器學(xué)習(xí)。

為此，我們研討了來自各行各業(yè)的真實(shí)案例——包括亞馬遜自身以及正在亞馬遜云上應(yīng)用機(jī)器學(xué)習(xí)的10萬多家客戶。

在轉(zhuǎn)型成為一個(gè)由AI驅(qū)動的組織過程中，他們遇到了各種各樣的挑戰(zhàn)，也因此學(xué)會了如何找到戰(zhàn)略支點(diǎn)來創(chuàng)建強(qiáng)大的AI戰(zhàn)略、數(shù)據(jù)戰(zhàn)略和協(xié)作文化，這幫助他們的組織成功地完成了AI和機(jī)器學(xué)習(xí)的轉(zhuǎn)型。

針對那些參加Embark課程的客戶，我們也向他們展示了機(jī)器學(xué)習(xí)的實(shí)際收益。

來自亞馬遜機(jī)器學(xué)習(xí)解決方案實(shí)驗(yàn)室的數(shù)據(jù)科學(xué)家，將與客戶團(tuán)隊(duì)攜手，針對實(shí)際的業(yè)務(wù)用例，開發(fā)全功能的機(jī)器學(xué)習(xí)概念驗(yàn)證。

我們幫助客戶識別并定義了這些用例后，客戶就可以利用亞馬遜云科技的ProServe或通過自己的開發(fā)者團(tuán)隊(duì)進(jìn)入生產(chǎn)環(huán)境。

Q4 在著手開展機(jī)器學(xué)習(xí)之旅前哪些因素對于成功至關(guān)重要？

對于業(yè)務(wù)領(lǐng)導(dǎo)來說，最重要的是要意識到他們將可能遇到非技術(shù)性的挑戰(zhàn)，也就是說，這些挑戰(zhàn)可能大部分來自于組織架構(gòu)和人員。

01 其中最首要的是制定數(shù)據(jù)戰(zhàn)略。

如果您的決策架構(gòu)是由數(shù)據(jù)驅(qū)動的，那么，您的技術(shù)專家和業(yè)務(wù)專家之間的協(xié)作將會產(chǎn)生顯著的效果，這對于機(jī)器學(xué)習(xí)來說是關(guān)鍵與核心。

機(jī)器學(xué)習(xí)的意義就在于找到數(shù)據(jù)的規(guī)律。如何制定一個(gè)有效的數(shù)據(jù)戰(zhàn)略涉及許多方面，本文無法全面展開，但Embark培訓(xùn)課程對此進(jìn)行了深入探討。

應(yīng)該納入考慮的內(nèi)容包括：確保數(shù)據(jù)訪問是受控的（但并非禁止），確保原始數(shù)據(jù)和衍生數(shù)據(jù)都可用，以及預(yù)期能夠在機(jī)器學(xué)習(xí)中利用多模式數(shù)據(jù)（例如：結(jié)構(gòu)的、半結(jié)構(gòu)的、非結(jié)構(gòu)的）。

舉例來說，假設(shè)我們需要為客戶出一個(gè)報(bào)價(jià)，然后通過電子郵件發(fā)送。

傳統(tǒng)的方式要依賴客戶的歷史數(shù)據(jù)，而這個(gè)數(shù)據(jù)可能在數(shù)據(jù)庫里。

假設(shè)您需要找到之前客戶所接受報(bào)價(jià)中的類似圖像，您可以通過機(jī)器學(xué)習(xí)，利用圖像等不同類型的數(shù)據(jù)，用計(jì)算機(jī)的視覺功能找到與之類似的圖像。這也就是我所說的半結(jié)構(gòu)的或非結(jié)構(gòu)的數(shù)據(jù)。

如今，大家都有海量的數(shù)據(jù)，已不適合放入傳統(tǒng)的數(shù)據(jù)庫，而機(jī)器學(xué)習(xí)則成為從數(shù)據(jù)提取洞見的非常好用的工具。

02 第二個(gè)挑戰(zhàn)來自人才，我們希望機(jī)器學(xué)習(xí)能夠產(chǎn)生出乎意料的效果，由此激勵工程師提升自我技能。當(dāng)然，您可以招聘數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師來達(dá)到這樣的目的，但是這些技術(shù)的要求很高，而且人才供不應(yīng)求。

目前，我們已經(jīng)找到了快速、有效的方法來培訓(xùn)現(xiàn)有的技術(shù)團(tuán)隊(duì)。這不是說您完全不用再招聘新技能型工程師人才，而是說，您不用完全依賴招聘來構(gòu)建起整個(gè)團(tuán)隊(duì)。

亞馬遜的機(jī)器學(xué)習(xí)大學(xué)以我們內(nèi)部開發(fā)的培訓(xùn)課程為基礎(chǔ)，致力于幫助我們的員工獲得新技術(shù)，這部分課程現(xiàn)在已經(jīng)納入了Embark課程。我們在培訓(xùn)自己的員工方面獲得了相當(dāng)?shù)某晒Γ虼宋覀円蚕嘈?，這一方法對其他公司也會有所幫助。

03 下一個(gè)挑戰(zhàn)是找到有足夠業(yè)務(wù)影響，且適合通過機(jī)器學(xué)習(xí)來解決的問題。

企業(yè)的業(yè)務(wù)領(lǐng)域?qū)＜铱梢跃痛颂峁┯袃r(jià)值的洞見。在剛開始的時(shí)候，您應(yīng)該選擇那些成功率高，且具有充足業(yè)務(wù)價(jià)值的項(xiàng)目。

這些項(xiàng)目所交付的成果能夠打動公司的領(lǐng)導(dǎo)層，他們會贊不絕口：“哇，這太棒了。我的部門也遇到了一些業(yè)務(wù)挑戰(zhàn)，我也希望利用機(jī)器學(xué)習(xí)來解決?！?/p>

我們在Embark業(yè)務(wù)培訓(xùn)中廣泛探討了如何做到這一點(diǎn)，在與客戶溝通的過程中也有所涉及。我們還特地邀請客戶的業(yè)務(wù)領(lǐng)導(dǎo)和技術(shù)領(lǐng)導(dǎo)同臺探討，共同找到他們投資回報(bào)率最高的業(yè)務(wù)問題，并通過機(jī)器學(xué)習(xí)來解決這些問題。這種協(xié)作確保了關(guān)鍵利益相關(guān)者，在項(xiàng)目的初始階段就業(yè)務(wù)目標(biāo)達(dá)成共識，攜手努力。

這一點(diǎn)至關(guān)重要，不僅有助于達(dá)成領(lǐng)導(dǎo)者的預(yù)期成果，還能確保企業(yè)采用機(jī)器學(xué)習(xí)最終獲得成功。

04 最后一個(gè)關(guān)鍵性的挑戰(zhàn)是如何在您的企業(yè)中擴(kuò)大機(jī)器學(xué)習(xí)的使用規(guī)模。

大規(guī)模運(yùn)行機(jī)器學(xué)習(xí)遇到的技術(shù)性問題可以通過亞馬遜云科技所提供的服務(wù)和解決方案來解決，它們可以擴(kuò)展技術(shù)基礎(chǔ)架構(gòu)，而且成本效益很高。

此外，解決這個(gè)挑戰(zhàn)還有一個(gè)業(yè)務(wù)因素，就是當(dāng)業(yè)務(wù)部門了解到機(jī)器學(xué)習(xí)的強(qiáng)大性能和轉(zhuǎn)型能力之后，他們會希望在自己的業(yè)務(wù)線中實(shí)施相關(guān)解決方案。

屆時(shí)，您就需要考慮如何擴(kuò)展機(jī)器學(xué)習(xí)工程資源的需求。從一開始，您就需要考慮設(shè)立一個(gè)集中式的機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)團(tuán)隊(duì)，在整個(gè)組織內(nèi)收集數(shù)據(jù)，并同時(shí)在業(yè)務(wù)領(lǐng)域設(shè)立一個(gè)去中心化的團(tuán)隊(duì)，來識別用例，同時(shí)搭建、測試和部署不同的模型。

能解決所有問題的“萬靈藥”是不存在的

在遇到機(jī)器學(xué)習(xí)方向的挑戰(zhàn)時(shí)

我們建議您采用全面且規(guī)范的方法

亞馬遜云科技的ML Embark項(xiàng)目

會幫助業(yè)務(wù)領(lǐng)導(dǎo)在開展機(jī)器學(xué)習(xí)之初

就清晰意識到自身需要做出

哪些關(guān)鍵性的決策

我們正在努力讓機(jī)器學(xué)習(xí)

變得更加簡單易用

Embark項(xiàng)目

是我們向這一目標(biāo)邁出的一大步