關于華為云最新發(fā)布的盤古大模型，我們提了幾個問題

4 月 25 日，在華為開發(fā)者大會（Cloud）上，華為云發(fā)布了盤古系列超大規(guī)模預訓練模型，包括 30 億參數(shù)的全球最大視覺（CV）預訓練模型，以及華為云與循環(huán)智能、鵬城實驗室聯(lián)合開發(fā)的千億參數(shù)、40TB 訓練數(shù)據(jù)的（NLP）預訓練模型。

其中，盤古 NLP 大模型由華為云、循環(huán)智能和鵬城實驗室聯(lián)合開發(fā)，具備領先的語言理解和模型生成能力：在權威的中文語言理解評測基準 CLUE 榜單中，盤古 NLP 大模型在總排行榜及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀錄；總排行榜得分 83.046，多項子任務得分業(yè)界領先, 向人類水平（85.61）邁進了一大步。

盤古 NLP 大模型位列 CLUE 榜單總排行榜第一

華為云人工智能領域首席科學家、IEEE Fellow 田奇表示：“預訓練大模型是解決 AI 應用開發(fā)定制化和碎片化的重要方法。華為云盤古大模型可以實現(xiàn)一個 AI 大模型在眾多場景通用、泛化和規(guī)?；瘡椭?，減少對數(shù)據(jù)標注的依賴，并使用 ModelArts 平臺，讓 AI 開發(fā)由作坊式轉(zhuǎn)變?yōu)楣I(yè)化開發(fā)的新模式?！蓖饨鐚θA為云盤古大模型充滿了好奇，在華為開發(fā)者大會（Cloud）期間，參與大模型開發(fā)的兩位華為云專家回答了以下幾個大家關心的問題。

作為一個開發(fā)者，請問盤古大模型的易用性如何？使用成本有多高？

華為云專家：預訓練模型設計的目的就是為了讓大家降低使用成本。大模型的預訓練過程中，成本是比較高的，但這個成本不需要開發(fā)者來承擔。開發(fā)者在使用盤古大模型的時候，它本身的易用性會使得使用成本進一步降低，達到一個比較合適的水平。比如說，我們會開發(fā)出一些比較通俗易懂的 Pipeline，如果你是有一定基礎的開發(fā)人員，你可以從我們的 Pipeline 當中去做更多的定制化的開發(fā)，更好地去釋放預訓練模型的能力。如果你只是一個 AI 開發(fā)小白，想用大模型去做 AI 簡單的開發(fā)，我們也會給你更加通俗易懂的界面，讓大家能夠用一些拖拉拽的方式使用盤古大模型?？傮w來講，大家在使用預訓練模型的時候，計算時長、調(diào)參所需要重復的代價等都會被降到很低，總體來講是對開發(fā)者非常友好的。

對于新入門計算機視覺的人來說，需要掌握什么哪些知識才能快速進入到學習和研發(fā)中？

華為云專家：人工智能、計算機視覺等經(jīng)過幾十年的發(fā)展，到現(xiàn)在已經(jīng)擁有很龐大的知識體系。如果一個初學者想要把這些東西都了解以后再開始做研究，效率會稍微有點低。我給大家的建議是，你在學習過程當中，可以先找準一個問題。剛開始的時候，這個問題可能是相對初級的問題，但一定有具體的場景。比如想做弱監(jiān)督學習，一般就是遇到某個實際的問題，它確實需要弱監(jiān)督算法。但是我是不是一定要掌握全監(jiān)督才能去做弱監(jiān)督呢？并不是這樣的。你可以先去查閱一些資料，了解當前的弱監(jiān)督學習方法，它的基線是什么，它的前沿在哪里。然后你可以開始做一些簡單的實驗。實驗的過程當中，一般會遇到一些困難或者一些疑惑。解決這些困難和疑惑的過程，一般就會把你引導到它的基礎，比如說全監(jiān)督到底是怎么做的。當你有了更多基礎以后，回過頭來，也會發(fā)現(xiàn)你對當前做的算法有了一個更好的理解。所以我的建議是大家可以找一本機器學習、計算機視覺這類介紹比較深入的教材去看，但是不要局限于這個教材：一邊做具體的課題，一邊去學習知識，效率會比較高。

盤古 CV 大模型有哪些成功的落地？跟業(yè)界相比處在什么位置？

華為云專家：盤古 CV 大模型，結合相關流程化開發(fā)，已經(jīng)在華為內(nèi)部以及其他合作項目上，有 100+ 成功落地，這些方向涵蓋了各行各業(yè)，包括工業(yè)視覺、網(wǎng)絡審查、零售商超，以及醫(yī)療等場景，都獲得了一些相較于之前不使用預訓練大模型更高的結果。在某些場景上，比如遙感影像分割，我們通過設計針對遙感影像的預訓練算法，在沒有增加額外標注代價的情況下，達到了最多 12% 的分割精度提升。還有另外一個比較有意思的現(xiàn)象，我們使用超大規(guī)模圖像進行的預訓練模型具有更好的可遷移性，即直接把這樣一個模型，遷移到了工業(yè)質(zhì)檢的缺陷上進行推理，我們非常欣喜地發(fā)現(xiàn)，我們在下游數(shù)據(jù)集上沒有進行任何微調(diào)，但是在工業(yè)缺陷檢測上，獲得了比之前我的模型不停地高度的優(yōu)化，甚至利用下游的數(shù)據(jù)微調(diào)更好的結果，這個結果基本上會高出 3 到 4 個百分點。這個啟發(fā)我們，模型數(shù)據(jù)一旦夠多，其實它的泛化能力能夠獲得更好的保障。

第二，我們是國內(nèi)最早做視覺預訓練大模型的公司之一。在國外是 Facebook 和谷歌從 2019 年開始在圖像上做了一些應用。我們視覺預訓練模型大概從 2019 年底的時候就開始了，通過自研的一些列改進算法，我們首次在基于 ImageNet 的無監(jiān)督預訓練模型線性分類精度上達到了全監(jiān)督基線的水平，同時在小樣本學習上大大領先現(xiàn)有技術，這些都是業(yè)界領先的成果。

華為的預訓練是采用什么類型數(shù)據(jù)和學習任務？盤古 CV 大模型如何保證端側(cè)性能？

華為云專家：針對視覺圖像不同角度，以及不同場景的變化，盤古 CV 大模型采取的方法非常簡單。一，我們可能有海量數(shù)據(jù)集，這個數(shù)據(jù)集規(guī)模已經(jīng)達到了億級甚至十億級這樣的規(guī)模，我們相信這個海量的數(shù)據(jù)集，它能夠建模實際場景圖像的方方面面。二，我們采取了什么樣的學習方式。其實它的一個核心思想，就是 2019 年開始，比較火的基于全局的對比度自監(jiān)督學習方法。我們在這上面做了很多改進。包括如何來利用弱標簽信息，如何把全局的信息拓展到局部來更好建模局部相關關系。同時也會呼應剛才提到的，如何處理不同視角、不同尺度圖像問題，怎么來讓它進行高效的建模，這里面就是讓它進行不同的數(shù)據(jù)增強，我們在預訓練算法中，集成了十余種數(shù)據(jù)增強方法，讓它通過不同的數(shù)據(jù)增強，使得整個模型具有針對不同數(shù)據(jù)增強的不變性。到目前為止，我們在一個大模型種，搭載模型蒸餾、抽取以及行業(yè)大模型，已經(jīng)適配了大概十余種預訓練模型。這十余種模型都是通過我們一個大模型的抽取，蒸餾所得到的，它在相應的行業(yè)上，得到了非常大的精度提升。同時也極大地減少了標注代價以及模型迭代周期。

華為云盤古 CV 大模型是如何結合不同行業(yè)知識，解決標注數(shù)據(jù)大的問題？

華為云專家：舉一個我們在華為開發(fā)者大會（Cloud）上發(fā)布的國網(wǎng)重慶永川供電公司電力無人機智能巡檢的例子，這就是非常典型的利用盤古 CV 大模型解決行業(yè)問題的例子。在國網(wǎng)電力巡檢模型開發(fā)的過程中，它有海量的數(shù)據(jù)，標注非常困難，我們做了什么呢？通過我們的視覺預訓練算法，在海量的巡檢數(shù)據(jù)上進行預訓練，這個預訓練是利用了無人機巡檢的數(shù)十 TB 圖像，上百萬規(guī)模的數(shù)量，進行預訓練。大模型的參數(shù)更大，數(shù)據(jù)更多，所以它能夠更好地建模無人機巡檢過程中的圖片的細微差異。利用盤古 CV 大模型，它能夠提供更好的表征，使得標注代價減少了 80% 以上，這在人力成本上是一個非常大的節(jié)省。除了減少標注，還可以一個大模型適配我們電力巡檢領域的一百多種缺陷，從而讓模型迭代周期大大減少，整個迭代效率大概提升了 10 倍。我們在每次模型迭代過程中反饋給人需要標注的整體的工作量就會越少。通過這兩種模式，最終提升了電力無人機智能巡檢 AI 模型的整體開發(fā)效率。