如何讓大語言模型微調(diào)更輕松？揭秘外研社的智慧教學新系統(tǒng)

生成式AI開創(chuàng)了模型主導內(nèi)容生成的新時代。當AI走進課堂，語言理解、推理和記憶、創(chuàng)新人機交互等領域?qū)覍腋镄?，為教育教學模式帶來深刻變革，教育行業(yè)開始解鎖數(shù)字化轉(zhuǎn)型新體驗。

北京外研在線數(shù)字科技有限公司（簡稱“外研在線”）作為外語教學與研究出版社（簡稱“外研社”）數(shù)字化升級轉(zhuǎn)型的核心載體，是中國外語數(shù)字教育的推動者與引領者。目前，外研在線產(chǎn)品與服務已覆蓋全國31個省、市、自治區(qū)的1700余所高校，全學段用戶超過7000萬人。

外研在線基于亞馬遜云科技人工智能與機器學習服務Amazon SageMaker，開展生成式AI在教育領域的創(chuàng)新實踐，輕松構(gòu)建了外研AIGC平臺、iWrite英語協(xié)作教學與評閱系統(tǒng)、iTEST智能測評云平臺、iTranslate計算機輔助翻譯教學與實踐平臺等教學系統(tǒng)的開發(fā)和迭代，實現(xiàn)AI創(chuàng)新能力的新突破。目前，外研在線使用的亞馬遜云科技服務包括：Amazon SageMaker、Amazon Simple Storage Service（Amazon S3）、Amazon Elastic Compute Cloud（Amazon EC2）、Amazon Elastic Kubernetes Service（Amazon EKS）等。

機會#

應用生成式AI技術，

實現(xiàn)外語教學的智慧化提升

數(shù)字化轉(zhuǎn)型的驅(qū)動力來源于數(shù)字技術的發(fā)展，教育數(shù)字化在提升學習者參與度、提升效率和公平性以及提升個性化因材施教等方面發(fā)揮了很大的作用。在教育數(shù)字化轉(zhuǎn)型的浪潮中，外研在線正在積極投資相關應用的研發(fā)、組建技術能力強大的生成式AI團隊，以適應不斷發(fā)展的由生成式AI引領的教育領域新需求。

基于教材優(yōu)勢，在轉(zhuǎn)換數(shù)字化內(nèi)容的同時，為學校搭建針對個性化教學場景的各種工具，如iWrite英語寫作教學與評閱系統(tǒng)、iTEST智能測評云平臺、iTranslate計算機輔助翻譯與教學平臺等，并結(jié)合大語言模型對系統(tǒng)進行了功能升級，建立基于人工智能生成的輔助英文寫作、英語口語練習場景模擬、英語學習知識問答、英語學習等全方位能力，創(chuàng)造交互式、自動化的學習環(huán)境，實現(xiàn)對外語教學的智慧化提升。此外，外研在線還結(jié)合大語言模型、擴散模型和語音技術研發(fā)了外研AIGC平臺，提供推文創(chuàng)作、智能數(shù)據(jù)查詢分析、圖片生成、語音合成、題目生成、課標問答及知識庫問答等服務。

大范圍的生成式AI探索與測試，勢必需要大規(guī)模的IT基礎設施投資與建設，而這需要靈活、易部署、高效的底層基礎設施架構(gòu)提供支持。因此，外研在線的人工智能團隊在其首席技術官兼技術共享中心總經(jīng)理董晉鵬的帶領下，首先詳細評估了生成式AI對業(yè)務的影響與挑戰(zhàn)；其次，希望通過與擁有強勢技術沉淀的基礎設施提供商合作，對市面上主流的基礎大模型進行大范圍的評測和試用，以選擇出最匹配外研在線教學環(huán)境，并可應用于實際場景中的基礎模型工具。

此外，為了滿足長期持續(xù)的推理需求，外研在線還需要進行數(shù)據(jù)的清洗，模型的定制化、量化、微調(diào)和壓縮等優(yōu)化工作，以降低大語言模型的使用成本?？紤]到這些需求，以及亞馬遜云科技對于以上外研社對基礎設施提供商需求的全面滿足，再加上雙方多年的成功合作經(jīng)驗，最終外研在線決定與亞馬遜云科技合作。

外研在線一直與亞馬遜云科技通力合作，運用亞馬遜云科技高性價比的基礎設施、全面的生成式AI解決方案研發(fā)了外研AIGC平臺，并升級了iWrite、iTEST、iTranslate等教學系統(tǒng)，推進教育數(shù)字化轉(zhuǎn)型。

董晉鵬

外研在線首席技術官兼技術共享中心總經(jīng)理

解決方案#

靈活構(gòu)建自有模型，

讓微調(diào)更為簡捷輕松

一直以來，外研在線都與亞馬遜云科技深入合作，早在2015年，外研在線就通過亞馬遜云科技豐富的基礎設施產(chǎn)品搭建了微服務化、自動伸縮的架構(gòu)，為用戶了提供穩(wěn)定、流暢的使用體驗。更值得一提的是，外研在線也是亞馬遜云科技教育與醫(yī)療行業(yè)中最早一批使用Amazon Aurora數(shù)據(jù)庫的企業(yè)級用戶之一。因此，基于雙方良好的合作基礎，在拓展生成式AI應用時，外研在線同樣選擇基于亞馬遜云科技基礎設施和產(chǎn)品服務進行構(gòu)建。

Amazon SageMaker快速完成模型推理服務構(gòu)建

在搭建外研AIGC平臺時，外研在線應用機器學習服務Amazon SageMaker為大模型進行微調(diào)，而數(shù)據(jù)處理部分由Amazon EC2承擔工作負載，處理第三方的開源數(shù)據(jù)集，并使用Amazon S3保存AI模型的各種數(shù)據(jù)和模型文件，以此獲得在大模型上更簡單、更容易構(gòu)建生成式AI應用的能力。

Amazon SageMaker為企業(yè)提供了一整套工具和框架，包括數(shù)據(jù)標注、模型訓練、模型部署、自動化建模等功能，這套基于API的端到端模型部署方案，可以實現(xiàn)基礎模型的二次開發(fā)微調(diào)，為所有開發(fā)人員構(gòu)建、訓練和部署模型提供便利。例如，在構(gòu)建“虛擬口語教師”功能過程中，外研在線發(fā)現(xiàn)，市面上適合的大模型體量巨大，相應地微調(diào)成本也相當高昂。他們希望能夠?qū)δＰ瓦M行多樣化測試，在不影響系統(tǒng)性能的前提下，降低整體微調(diào)、訓練和推理成本，而Amazon SageMaker就成為了外研在線做概念驗證的理想選擇。

通過多次測試和對比，外研在線最終選擇了適合現(xiàn)有業(yè)務規(guī)模的大模型，有效降低了成本。又如，在生成相關圖形時，外研在線存在圖像模型選擇的困難，而基于Amazon SagaMaker Jumpstart功能，外研在線快速完成了對Stable Diffusion模型的微調(diào)和相關插件功能測試，成功構(gòu)建了該應用。

基于亞馬遜云科技架構(gòu)的外研AIGC平臺示意圖

降低門檻，專業(yè)技術支持讓大模型部署更簡單、高效

對于外研在線格外關注的大模型部署問題，亞馬遜云科技提供了豐富的專業(yè)技術支持資源，其專業(yè)服務團隊（Amazon Professional Services）與外研在線AI團隊通力合作，協(xié)助評測了市面上幾乎所有的大語言模型和生成式AI工具，并針對不同的應用場景完成多次POC測試，為外研AIGC平臺這一創(chuàng)新應用提供新思路和建議。

在測試過程中，亞馬遜云科技的“基于Stable Diffusion的生成式AI解決方案指南”以及“基于智能搜索和大語言模型打造企業(yè)下一代知識庫解決方案指南”發(fā)揮了重要作用，客戶利用生成式AI技術自動生成圖片大大提高了生產(chǎn)效率，同時采用Amazon SageMaker部署了多個大語言模型進行測試和比較，并能夠以直觀的方式演示實時推理，可運行批量推理任務。使繁復的測試變得更為簡單、高效，確保外研AIGC平臺按時上線運行。

在iTranslate平臺功能升級時，亞馬遜云科技專業(yè)服務團隊協(xié)助外研在線構(gòu)建了初始原型，從語言模型的選擇到訓練和迭代，為外研在線后續(xù)的優(yōu)化和改造奠定了基礎；開發(fā)虛擬教師應用時，從最開始大模型微調(diào)到此后的推理，對話和任務框架的搭建，也都由亞馬遜云科技專業(yè)服務團隊主導。

業(yè)務成果#

生成式AI能力儲備豐富，

從容應對生成式AI技術變革沖擊

在亞馬遜云科技助力下，外研在線利用自然語言指導、激發(fā)人工智能模型完成特定任務，推出iTEST、iWrite、iTranslate等提供智能點評、譯文潤色的新服務，實現(xiàn)基于項目的學習、人機交互式共創(chuàng)學習、無限個性化學習、沉浸式學習等新學習方式，幫助學生獲得更好的學習體驗，同時也減輕教師的工作負擔，達成提高教學效率和質(zhì)量的目標。外研AIGC平臺管理服務場景中的知識庫問答，已經(jīng)對內(nèi)提供服務，老師們可以快速獲取準確的問題答案，減少人力投入。

通過Amazon SageMaker，外研在線能夠輕松地基于基礎模型，利用自身的數(shù)據(jù)構(gòu)建差異化的應用程序。同時，在自然語言處理層面，外研在線還自主研發(fā)了翻譯批改、語音評測等引擎，擁有了開發(fā)相關AI應用的基礎能力。

更為重要的是，這些應用的開發(fā)、上線和迭代，不僅幫助外研在線開拓了數(shù)字化智慧教育新版圖，還為其積累了豐富的技術儲備跟人才經(jīng)驗，以便更好地應對生成式AI技術變革的沖擊。

如今，越來越多的教育機構(gòu)已經(jīng)開始與亞馬遜云科技在生成式AI領域緊密合作，基于亞馬遜云科技開發(fā)各類智慧教學應用，包括課件圖片生成、內(nèi)容創(chuàng)作、語音合成、數(shù)學題目解答器、基于AI生成的助教內(nèi)容、教學分析以及教師數(shù)字素養(yǎng)提升等，并在教與學兩端都得到了積極的反饋。未來，外研在線還將在生成式AI的版圖上繼續(xù)開拓，為學生、教師研發(fā)更多寓教于樂的應用，助力教育數(shù)字化轉(zhuǎn)型。

關于外研在線

外研在線作為外語教學與研究出版社（簡稱“外研社”）數(shù)字化升級轉(zhuǎn)型的核心載體，是中國外語數(shù)字教育的推動者與引領者。自2014年起，外研在線依托北京外國語大學和外研社的優(yōu)質(zhì)資源及品牌積淀，將先進科學技術深度融合優(yōu)質(zhì)教學資源，形成涵蓋基礎教育、職業(yè)教育、高等教育和成人教育的終身外語教育格局，構(gòu)筑含內(nèi)容、軟件、硬件、服務的教學生態(tài)和含課題、聯(lián)盟、協(xié)會、社區(qū)、基地、標準的服務生態(tài)，通過雙生態(tài)系統(tǒng)賦能教學育人新模式。