如何讓大語言模型微調(diào)更輕松？揭秘外研社的智慧教學(xué)新系統(tǒng)

生成式AI開創(chuàng)了模型主導(dǎo)內(nèi)容生成的新時代。當(dāng)AI走進(jìn)課堂，語言理解、推理和記憶、創(chuàng)新人機(jī)交互等領(lǐng)域?qū)覍腋镄?，為教育教學(xué)模式帶來深刻變革，教育行業(yè)開始解鎖數(shù)字化轉(zhuǎn)型新體驗。

北京外研在線數(shù)字科技有限公司（簡稱“外研在線”）作為外語教學(xué)與研究出版社（簡稱“外研社”）數(shù)字化升級轉(zhuǎn)型的核心載體，是中國外語數(shù)字教育的推動者與引領(lǐng)者。目前，外研在線產(chǎn)品與服務(wù)已覆蓋全國31個省、市、自治區(qū)的1700余所高校，全學(xué)段用戶超過7000萬人。

外研在線基于亞馬遜云科技人工智能與機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker，開展生成式AI在教育領(lǐng)域的創(chuàng)新實踐，輕松構(gòu)建了外研AIGC平臺、iWrite英語協(xié)作教學(xué)與評閱系統(tǒng)、iTEST智能測評云平臺、iTranslate計算機(jī)輔助翻譯教學(xué)與實踐平臺等教學(xué)系統(tǒng)的開發(fā)和迭代，實現(xiàn)AI創(chuàng)新能力的新突破。目前，外研在線使用的亞馬遜云科技服務(wù)包括：Amazon SageMaker、Amazon Simple Storage Service（Amazon S3）、Amazon Elastic Compute Cloud（Amazon EC2）、Amazon Elastic Kubernetes Service（Amazon EKS）等。

機(jī)會#

應(yīng)用生成式AI技術(shù)，

實現(xiàn)外語教學(xué)的智慧化提升

數(shù)字化轉(zhuǎn)型的驅(qū)動力來源于數(shù)字技術(shù)的發(fā)展，教育數(shù)字化在提升學(xué)習(xí)者參與度、提升效率和公平性以及提升個性化因材施教等方面發(fā)揮了很大的作用。在教育數(shù)字化轉(zhuǎn)型的浪潮中，外研在線正在積極投資相關(guān)應(yīng)用的研發(fā)、組建技術(shù)能力強(qiáng)大的生成式AI團(tuán)隊，以適應(yīng)不斷發(fā)展的由生成式AI引領(lǐng)的教育領(lǐng)域新需求。

基于教材優(yōu)勢，在轉(zhuǎn)換數(shù)字化內(nèi)容的同時，為學(xué)校搭建針對個性化教學(xué)場景的各種工具，如iWrite英語寫作教學(xué)與評閱系統(tǒng)、iTEST智能測評云平臺、iTranslate計算機(jī)輔助翻譯與教學(xué)平臺等，并結(jié)合大語言模型對系統(tǒng)進(jìn)行了功能升級，建立基于人工智能生成的輔助英文寫作、英語口語練習(xí)場景模擬、英語學(xué)習(xí)知識問答、英語學(xué)習(xí)等全方位能力，創(chuàng)造交互式、自動化的學(xué)習(xí)環(huán)境，實現(xiàn)對外語教學(xué)的智慧化提升。此外，外研在線還結(jié)合大語言模型、擴(kuò)散模型和語音技術(shù)研發(fā)了外研AIGC平臺，提供推文創(chuàng)作、智能數(shù)據(jù)查詢分析、圖片生成、語音合成、題目生成、課標(biāo)問答及知識庫問答等服務(wù)。

大范圍的生成式AI探索與測試，勢必需要大規(guī)模的IT基礎(chǔ)設(shè)施投資與建設(shè)，而這需要靈活、易部署、高效的底層基礎(chǔ)設(shè)施架構(gòu)提供支持。因此，外研在線的人工智能團(tuán)隊在其首席技術(shù)官兼技術(shù)共享中心總經(jīng)理董晉鵬的帶領(lǐng)下，首先詳細(xì)評估了生成式AI對業(yè)務(wù)的影響與挑戰(zhàn)；其次，希望通過與擁有強(qiáng)勢技術(shù)沉淀的基礎(chǔ)設(shè)施提供商合作，對市面上主流的基礎(chǔ)大模型進(jìn)行大范圍的評測和試用，以選擇出最匹配外研在線教學(xué)環(huán)境，并可應(yīng)用于實際場景中的基礎(chǔ)模型工具。

此外，為了滿足長期持續(xù)的推理需求，外研在線還需要進(jìn)行數(shù)據(jù)的清洗，模型的定制化、量化、微調(diào)和壓縮等優(yōu)化工作，以降低大語言模型的使用成本?？紤]到這些需求，以及亞馬遜云科技對于以上外研社對基礎(chǔ)設(shè)施提供商需求的全面滿足，再加上雙方多年的成功合作經(jīng)驗，最終外研在線決定與亞馬遜云科技合作。

外研在線一直與亞馬遜云科技通力合作，運(yùn)用亞馬遜云科技高性價比的基礎(chǔ)設(shè)施、全面的生成式AI解決方案研發(fā)了外研AIGC平臺，并升級了iWrite、iTEST、iTranslate等教學(xué)系統(tǒng)，推進(jìn)教育數(shù)字化轉(zhuǎn)型。

董晉鵬

外研在線首席技術(shù)官兼技術(shù)共享中心總經(jīng)理

解決方案#

靈活構(gòu)建自有模型，

讓微調(diào)更為簡捷輕松

一直以來，外研在線都與亞馬遜云科技深入合作，早在2015年，外研在線就通過亞馬遜云科技豐富的基礎(chǔ)設(shè)施產(chǎn)品搭建了微服務(wù)化、自動伸縮的架構(gòu)，為用戶了提供穩(wěn)定、流暢的使用體驗。更值得一提的是，外研在線也是亞馬遜云科技教育與醫(yī)療行業(yè)中最早一批使用Amazon Aurora數(shù)據(jù)庫的企業(yè)級用戶之一。因此，基于雙方良好的合作基礎(chǔ)，在拓展生成式AI應(yīng)用時，外研在線同樣選擇基于亞馬遜云科技基礎(chǔ)設(shè)施和產(chǎn)品服務(wù)進(jìn)行構(gòu)建。

Amazon SageMaker快速完成模型推理服務(wù)構(gòu)建

在搭建外研AIGC平臺時，外研在線應(yīng)用機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker為大模型進(jìn)行微調(diào)，而數(shù)據(jù)處理部分由Amazon EC2承擔(dān)工作負(fù)載，處理第三方的開源數(shù)據(jù)集，并使用Amazon S3保存AI模型的各種數(shù)據(jù)和模型文件，以此獲得在大模型上更簡單、更容易構(gòu)建生成式AI應(yīng)用的能力。

Amazon SageMaker為企業(yè)提供了一整套工具和框架，包括數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型部署、自動化建模等功能，這套基于API的端到端模型部署方案，可以實現(xiàn)基礎(chǔ)模型的二次開發(fā)微調(diào)，為所有開發(fā)人員構(gòu)建、訓(xùn)練和部署模型提供便利。例如，在構(gòu)建“虛擬口語教師”功能過程中，外研在線發(fā)現(xiàn)，市面上適合的大模型體量巨大，相應(yīng)地微調(diào)成本也相當(dāng)高昂。他們希望能夠?qū)δＰ瓦M(jìn)行多樣化測試，在不影響系統(tǒng)性能的前提下，降低整體微調(diào)、訓(xùn)練和推理成本，而Amazon SageMaker就成為了外研在線做概念驗證的理想選擇。

通過多次測試和對比，外研在線最終選擇了適合現(xiàn)有業(yè)務(wù)規(guī)模的大模型，有效降低了成本。又如，在生成相關(guān)圖形時，外研在線存在圖像模型選擇的困難，而基于Amazon SagaMaker Jumpstart功能，外研在線快速完成了對Stable Diffusion模型的微調(diào)和相關(guān)插件功能測試，成功構(gòu)建了該應(yīng)用。

基于亞馬遜云科技架構(gòu)的外研AIGC平臺示意圖

降低門檻，專業(yè)技術(shù)支持讓大模型部署更簡單、高效

對于外研在線格外關(guān)注的大模型部署問題，亞馬遜云科技提供了豐富的專業(yè)技術(shù)支持資源，其專業(yè)服務(wù)團(tuán)隊（Amazon Professional Services）與外研在線AI團(tuán)隊通力合作，協(xié)助評測了市面上幾乎所有的大語言模型和生成式AI工具，并針對不同的應(yīng)用場景完成多次POC測試，為外研AIGC平臺這一創(chuàng)新應(yīng)用提供新思路和建議。

在測試過程中，亞馬遜云科技的“基于Stable Diffusion的生成式AI解決方案指南”以及“基于智能搜索和大語言模型打造企業(yè)下一代知識庫解決方案指南”發(fā)揮了重要作用，客戶利用生成式AI技術(shù)自動生成圖片大大提高了生產(chǎn)效率，同時采用Amazon SageMaker部署了多個大語言模型進(jìn)行測試和比較，并能夠以直觀的方式演示實時推理，可運(yùn)行批量推理任務(wù)。使繁復(fù)的測試變得更為簡單、高效，確保外研AIGC平臺按時上線運(yùn)行。

在iTranslate平臺功能升級時，亞馬遜云科技專業(yè)服務(wù)團(tuán)隊協(xié)助外研在線構(gòu)建了初始原型，從語言模型的選擇到訓(xùn)練和迭代，為外研在線后續(xù)的優(yōu)化和改造奠定了基礎(chǔ)；開發(fā)虛擬教師應(yīng)用時，從最開始大模型微調(diào)到此后的推理，對話和任務(wù)框架的搭建，也都由亞馬遜云科技專業(yè)服務(wù)團(tuán)隊主導(dǎo)。

業(yè)務(wù)成果#

生成式AI能力儲備豐富，

從容應(yīng)對生成式AI技術(shù)變革沖擊

在亞馬遜云科技助力下，外研在線利用自然語言指導(dǎo)、激發(fā)人工智能模型完成特定任務(wù)，推出iTEST、iWrite、iTranslate等提供智能點(diǎn)評、譯文潤色的新服務(wù)，實現(xiàn)基于項目的學(xué)習(xí)、人機(jī)交互式共創(chuàng)學(xué)習(xí)、無限個性化學(xué)習(xí)、沉浸式學(xué)習(xí)等新學(xué)習(xí)方式，幫助學(xué)生獲得更好的學(xué)習(xí)體驗，同時也減輕教師的工作負(fù)擔(dān)，達(dá)成提高教學(xué)效率和質(zhì)量的目標(biāo)。外研AIGC平臺管理服務(wù)場景中的知識庫問答，已經(jīng)對內(nèi)提供服務(wù)，老師們可以快速獲取準(zhǔn)確的問題答案，減少人力投入。

通過Amazon SageMaker，外研在線能夠輕松地基于基礎(chǔ)模型，利用自身的數(shù)據(jù)構(gòu)建差異化的應(yīng)用程序。同時，在自然語言處理層面，外研在線還自主研發(fā)了翻譯批改、語音評測等引擎，擁有了開發(fā)相關(guān)AI應(yīng)用的基礎(chǔ)能力。

更為重要的是，這些應(yīng)用的開發(fā)、上線和迭代，不僅幫助外研在線開拓了數(shù)字化智慧教育新版圖，還為其積累了豐富的技術(shù)儲備跟人才經(jīng)驗，以便更好地應(yīng)對生成式AI技術(shù)變革的沖擊。

如今，越來越多的教育機(jī)構(gòu)已經(jīng)開始與亞馬遜云科技在生成式AI領(lǐng)域緊密合作，基于亞馬遜云科技開發(fā)各類智慧教學(xué)應(yīng)用，包括課件圖片生成、內(nèi)容創(chuàng)作、語音合成、數(shù)學(xué)題目解答器、基于AI生成的助教內(nèi)容、教學(xué)分析以及教師數(shù)字素養(yǎng)提升等，并在教與學(xué)兩端都得到了積極的反饋。未來，外研在線還將在生成式AI的版圖上繼續(xù)開拓，為學(xué)生、教師研發(fā)更多寓教于樂的應(yīng)用，助力教育數(shù)字化轉(zhuǎn)型。

關(guān)于外研在線

外研在線作為外語教學(xué)與研究出版社（簡稱“外研社”）數(shù)字化升級轉(zhuǎn)型的核心載體，是中國外語數(shù)字教育的推動者與引領(lǐng)者。自2014年起，外研在線依托北京外國語大學(xué)和外研社的優(yōu)質(zhì)資源及品牌積淀，將先進(jìn)科學(xué)技術(shù)深度融合優(yōu)質(zhì)教學(xué)資源，形成涵蓋基礎(chǔ)教育、職業(yè)教育、高等教育和成人教育的終身外語教育格局，構(gòu)筑含內(nèi)容、軟件、硬件、服務(wù)的教學(xué)生態(tài)和含課題、聯(lián)盟、協(xié)會、社區(qū)、基地、標(biāo)準(zhǔn)的服務(wù)生態(tài)，通過雙生態(tài)系統(tǒng)賦能教學(xué)育人新模式。