大模型場景業(yè)務落地，UCloud上線企業(yè)內(nèi)部問答平臺

無可否認，大模型是最近一段時間最熱的話題之一，在市場上正經(jīng)歷著快速發(fā)展和廣泛應用的階段。各個云計算廠商和科技公司紛紛推出自己的大模型產(chǎn)品和解決方案。近日，UCloud基于企業(yè)內(nèi)部的產(chǎn)品知識文庫、技術支持文檔，借助大語言模型的強大邏輯推理能力，構建了企業(yè)內(nèi)部知識問答平臺“識問”。

產(chǎn)品介紹

UCloud內(nèi)部問答平臺“識問”，是公司AIGC項目團隊基于大語言模型的一次落地實踐。目前“識問”平臺已經(jīng)集成了云主機、存儲、網(wǎng)絡、備案、常用技術支持和安全等知識文檔，能滿足技術支持團隊日常提問檢索的需求。用戶僅需要輸入問題，識問平臺即可在幾秒內(nèi)輸出完整的問答話術。

實現(xiàn)方式

識問平臺目前是通過大語言模型連接本地知識庫的方式來實現(xiàn)專業(yè)知識問答的。在業(yè)務側上傳云主機、存儲、網(wǎng)絡、備案和安全相關的文檔，文檔數(shù)據(jù)經(jīng)過非結構化存儲，文檔切分，生成文本塊之后再進行向量化處理，通過LangChain框架，實現(xiàn)本地文本知識庫的構建。

客戶通過Web端或者其他AI應用提交問題，提交的問題經(jīng)過向量化處理后，在文本向量化中匹配出與問句向量最相似的top k個，匹配出的文本作為上下文和問題一起，添加到prompt中，提交給大語言模型，利用大模型的推理和信息整合能力，生成最終的回答。如果檢索發(fā)現(xiàn)客戶的提問可以與知識庫的相關文本精確匹配，識問平臺就會直接通過搜索拋出回答，無需經(jīng)過大語言模型的推理。

大語言模型結合本地知識庫的推理工作流如下：

LLM+本地知識庫

據(jù)悉，未來UCloud還支持外部企業(yè)級客戶通過“模型微調”的方式來實現(xiàn)專業(yè)領域的知識問答。UCloud可以基于客戶的業(yè)務文檔生成高質量的問答對，提供給開源的大語言模型做訓練，重新生成一個精通客戶業(yè)務的私有語言模型?？蛻魝韧ㄟ^web或者AI應用提交的問題話術經(jīng)過一些標準化處理后，生成prompt，提交給客戶的私有大模型，經(jīng)過私有大模型的推理并生成最終回答。微調大語言模型的工作流如下：

模型微調

在這個工作流中，開源大語言模型可以是目前開源的任意一款模型，包括但不限于ChatGLM、T5、LLaMA、MiniGPT-4等。

目前UCloud已經(jīng)支持的文檔格式有問答對、Html、MarkDown，未來預期還會支持PDF、Word、URL等格式，進一步擴大可支持的知識庫的范疇，同時在平臺側也會通過對使用問答的打分情況，篩選優(yōu)質問答對，持續(xù)更新文本知識庫。專業(yè)垂直領域的提問，大語言模型的回復準確率會隨著資料庫的豐富而持續(xù)提高。

隨著大模型應用的發(fā)展和深入，UCloud也即將為更廣大客戶提供MaaS（Model as a service）服務，包含大模型的推理、模型微調服務以及私有化部署。基于云廠商統(tǒng)一管理的云計算基礎設施可以為大模型的部署和應用提供更加安全、穩(wěn)定的環(huán)境。另外UCloud自建數(shù)據(jù)中心采用WEB應用防火墻UWAF、DDoS攻擊防護UDDoS、主機入侵檢測UHIDS等一系列安全防護產(chǎn)品，配置全方位的安全防護，運維人員實行7 24 365安全運維保障，保護AI模型和數(shù)據(jù)的安全，幫助企業(yè)級用戶解決各種私有化部署問題和挑戰(zhàn)。

寫在最后

本次識問平臺的落地，是UCloud一次AI大模型業(yè)務場景的探索。從企業(yè)內(nèi)部治理需求出發(fā)，優(yōu)化內(nèi)部信息查詢機制，初步解決售前、售后的相關的技術支持問答，幫助提升技術支持的工作效率。作為云計算廠商，UCloud將全面投入大模型時代，繼續(xù)保持敏銳的市場洞察力和快速的響應能力，持續(xù)關注大模型市場的最新趨勢和客戶需求，不斷優(yōu)化和拓展我們的產(chǎn)品和服務。