在過(guò)去的一年里,不論是身邊人的閑聊,還是技術(shù)論壇上的深入討論,生成式人工智能技術(shù)的話(huà)題無(wú)處不在。生成式人工智能技術(shù),正在改變企業(yè)思考產(chǎn)品的方式、開(kāi)發(fā)軟件的方式以及利用技術(shù)提高生產(chǎn)力的方式。
2023年,全球各地的公司都在這項(xiàng)技術(shù)上投入資源,以充分了解其能力和適用性。然而,隨著深入了解,大家意識(shí)到一個(gè)新問(wèn)題:如果生成式人工智能技術(shù)不受約束,它極有可能會(huì)犯錯(cuò)。它可能會(huì)生成不存在的URL、編造數(shù)據(jù)、發(fā)布不必要的道歉,甚至修改某些重要比賽的結(jié)果。
因此,企業(yè)開(kāi)始追求質(zhì)量提升。他們采用了新的持續(xù)集成/持續(xù)交付(CI/CD)和回歸測(cè)試方法,減少了不適當(dāng)智能響應(yīng)的難題。他們還在生產(chǎn)環(huán)境中加強(qiáng)了對(duì)人工智能解決方案的監(jiān)控——這是一個(gè)類(lèi)似于傳統(tǒng)軟件開(kāi)發(fā)的復(fù)雜過(guò)程,但由于生成式人工智能技術(shù)的不可預(yù)測(cè)性,使得這個(gè)過(guò)程變得更加復(fù)雜。
在2024年,已知的錯(cuò)誤類(lèi)型包括基礎(chǔ)性、流暢性、輸出長(zhǎng)度和不可預(yù)測(cè)延遲等,所有這些都需要在合并到主分支之前進(jìn)行回歸測(cè)試。此外,確保生成的文本和數(shù)字媒體內(nèi)容合規(guī)也至關(guān)重要,它需要通過(guò)嚴(yán)格的測(cè)試以防止生成仇恨言論、不恰當(dāng)?shù)幕蚺c事實(shí)不符的內(nèi)容。此外,還需要采取其他措施,防止有人試圖操縱或"越獄"系統(tǒng)。測(cè)試和監(jiān)控是需要持續(xù)進(jìn)行的,對(duì)單個(gè)請(qǐng)求和整體系統(tǒng)都需要,以防止隨著時(shí)間的推移出現(xiàn)任何偏差。
要?jiǎng)?chuàng)建支持高級(jí)用例的負(fù)責(zé)任的、真正具有變革性的、定制的、可用于生產(chǎn)的Copilot智能副駕駛?,需要將多個(gè)互操作API與模型、提示和基礎(chǔ)數(shù)據(jù)相結(jié)合,并進(jìn)行微調(diào)、測(cè)試和大規(guī)模部署。為此,開(kāi)發(fā)者需要合適的工具。
01
Azure AI Studio(國(guó)際版)
現(xiàn)已全面在全球上市
我們非常高興地宣布Azure AI Studio(國(guó)際版)現(xiàn)已全面上市,作為您開(kāi)發(fā)和部署生成式智能應(yīng)用的首選平臺(tái),無(wú)論您的生成式智能用例是什么,Azure AI Studio(國(guó)際版)都能加速整個(gè)生成式智能開(kāi)發(fā)生命周期,使開(kāi)發(fā)者能夠利用人工智能構(gòu)建和塑造未來(lái)。
Azure AI Studio(國(guó)際版)是微軟Copilot智能副駕駛?平臺(tái)的重要組成部分。它是一個(gè)專(zhuān)業(yè)代碼平臺(tái),提供完全自定義和具有配置生成式智能應(yīng)用的能力,此外它還具有Azure級(jí)的安全性、隱私性和合規(guī)性。靈活且集成的可視化和代碼優(yōu)先工具,以及預(yù)構(gòu)建的快速入門(mén)模板,可簡(jiǎn)化和加速使用Azure AI(國(guó)際版)服務(wù)和工具實(shí)現(xiàn)創(chuàng)建Copilot智能副駕駛?的過(guò)程,它還對(duì)基礎(chǔ)設(shè)施有完全的控制權(quán)。
它通過(guò)簡(jiǎn)單的設(shè)置、管理和API支持,簡(jiǎn)化了從概念到生產(chǎn)的轉(zhuǎn)化過(guò)程,同時(shí)還幫助開(kāi)發(fā)者解決安全和質(zhì)量問(wèn)題。該平臺(tái)包括Azure AI(國(guó)際版)服務(wù),如Azure OpenAI(國(guó)際版)服務(wù)和Azure AI(國(guó)際版)搜索,以及來(lái)自Azure機(jī)器學(xué)習(xí)的開(kāi)發(fā)者熟知的工具,如用于快速原型設(shè)計(jì)的提示流。它支持代碼優(yōu)先的SDK和CLI,并與Azure開(kāi)發(fā)者(AZD)CLI和Visual Studio Code的智能工具包集成,以在需求增長(zhǎng)時(shí)提供所需的可擴(kuò)展性。
02
API和模型選擇
探索適合您用例的最佳人工智能服務(wù)和模型
無(wú)論何種用例,開(kāi)發(fā)者都可以利用開(kāi)箱即用的可定制模型和API(如語(yǔ)言、語(yǔ)音、內(nèi)容安全等)構(gòu)建智能的多模態(tài)、多語(yǔ)言智能副駕。
通過(guò)模型目錄,您可以找到來(lái)自微軟和其他提供商的600多個(gè)模型,包括GPT 4 Turbo with Vision和微軟的小語(yǔ)言模型(SLM)Phi3,以及來(lái)自Core42和Nixtla的新模型。Bria AI、Gretel、NTT DATA、Stability AI、AI21和Cohere Rerank的模型將在不久之后推出。Azure AI(國(guó)際版)提供最廣泛的部署模型,經(jīng)過(guò)打包和優(yōu)化,可在Azure AI平臺(tái)上運(yùn)行。同時(shí),Hugging Face系列提供了數(shù)百個(gè)模型,使用戶(hù)能夠根據(jù)需要選擇最適合的模型。
Azure AI Studio(國(guó)際版)的模型基準(zhǔn)儀表板,允許開(kāi)發(fā)者對(duì)各種行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)集的模型性能進(jìn)行比較,以了解特定模型的最佳性能?;鶞?zhǔn)測(cè)試使用準(zhǔn)確性、一致性、流暢性和GPT相似性等指標(biāo)對(duì)模型進(jìn)行評(píng)估。用戶(hù)可以通過(guò)儀表板圖形和列表格式查看基準(zhǔn)結(jié)果,從而對(duì)模型進(jìn)行并排比較。
模型目錄提供兩種部署模型的方法:模型即服務(wù)(MaaS)和模型即平臺(tái)(MaaP)。模型即服務(wù)提供按令牌付費(fèi)的定價(jià)方式;模型即平臺(tái)則提供部署在專(zhuān)用虛擬機(jī)(VM)上的模型,它按每小時(shí)VM計(jì)費(fèi)。
Azure AI Studio(國(guó)際版)還會(huì)在模型加入Azure AI(國(guó)際版)集合之前掃描開(kāi)源模型,檢測(cè)它們是否存在安全威脅和漏洞,并在模型卡中提供驗(yàn)證信息,以便開(kāi)發(fā)者可以放心的部署模型。
03
完整的人工智能工具鏈
Azure AI Studio(國(guó)際版)提供協(xié)作和全面的工具,以支持開(kāi)發(fā)生命周期,可使您的應(yīng)用與眾不同。
設(shè)置您的Hub和項(xiàng)目
Azure AI Studio(國(guó)際版)可加速基于團(tuán)隊(duì)的人工智能開(kāi)發(fā),其中央hub可跨項(xiàng)目共享資源,幫助消除IT瓶頸。開(kāi)發(fā)者還可以通過(guò)啟動(dòng)腳本或使用studio UI啟動(dòng)項(xiàng)目。腳本一旦執(zhí)行,就會(huì)生成一個(gè).env文件,其中包括對(duì)連接資源的引用以及所需的訪(fǎng)問(wèn)密鑰。
每個(gè)hub可連接任意數(shù)量的項(xiàng)目,這些項(xiàng)目可繼承hub的安全配置。Hub和項(xiàng)目都是具有安全意識(shí)的實(shí)體。在Hub內(nèi)可以指定管理員,以管理人工智能資源并控制項(xiàng)目成員的訪(fǎng)問(wèn)權(quán)限。Azure AI Studio(國(guó)際版)的連接框架旨在驗(yàn)證和集成來(lái)自微軟生態(tài)系統(tǒng)和外部提供商的各種資源。
在playground中試驗(yàn)prompts
在AI Studio(國(guó)際版)中,為開(kāi)發(fā)者配備了一套友好的Playground,包括聊天機(jī)器人、助手、圖像生成和文本補(bǔ)全等。這種靈活的沙盒環(huán)境允許開(kāi)發(fā)者使用各種模型進(jìn)行實(shí)驗(yàn),通過(guò)迭代測(cè)試優(yōu)化系統(tǒng)提示,使用自己的數(shù)據(jù)集進(jìn)行模型定制,以獲得滿(mǎn)足特定需求的結(jié)果。此外,開(kāi)發(fā)者還可以試驗(yàn)安全系統(tǒng)消息。
使用Azure AI(國(guó)際版)搜索進(jìn)行數(shù)據(jù)檢索
Azure AI Studio(國(guó)際版)原生支持Azure AI搜索,用于檢索增強(qiáng)生成(RAG)場(chǎng)景,使開(kāi)發(fā)者能夠利用數(shù)據(jù)檢索方法,基于安全的客戶(hù)特定數(shù)據(jù)作出響應(yīng)。該平臺(tái)可與眾多數(shù)據(jù)源輕松集成,包括Microsoft Fabric中的OneLake、Azure Blob Storage和Azure Files。由于數(shù)據(jù)資產(chǎn)可以集成到模型工作流中,因此這種連接集成使用戶(hù)能夠開(kāi)發(fā)出更智能、更具感知上下文的Copilot智能副駕駛?。
微調(diào)
在開(kāi)發(fā)生成式人工智能應(yīng)用時(shí),RAG(檢索增強(qiáng)生成)應(yīng)用于需要外部知識(shí)的任務(wù),而微調(diào)則適用于將預(yù)先訓(xùn)練好的模型調(diào)整為具有特定標(biāo)記數(shù)據(jù)的任務(wù)。監(jiān)督微調(diào)對(duì)于定制模型至關(guān)重要,因?yàn)閷?zhuān)業(yè)任務(wù)通常需要大模型的推理能力,但其特定任務(wù)的范圍相對(duì)較窄。在Azure AI Studio(國(guó)際版)中,用戶(hù)可以對(duì)Babbage、Davinci、GPT-35-Turbo、GPT-4以及Llama 3和Phi-3系列等模型進(jìn)行微調(diào)。
基于代理的編排
隨著開(kāi)發(fā)者逐漸認(rèn)識(shí)到LLM和SLM的潛力,他們正在推動(dòng)復(fù)雜的實(shí)際應(yīng)用開(kāi)發(fā)。他們利用代理系統(tǒng),如Azure OpenAI(國(guó)際版)服務(wù)助手API、基于功能的應(yīng)用和AutoGen框架,來(lái)解決更復(fù)雜、更具開(kāi)放的問(wèn)題。正如預(yù)期的那樣,這一轉(zhuǎn)變帶來(lái)了新的挑戰(zhàn),尤其是由于所應(yīng)用編排的開(kāi)放性。
追蹤和調(diào)試
追蹤對(duì)于了解Copilot智能副駕駛?的工作方式至關(guān)重要,尤其是在復(fù)雜的工作流中,傳統(tǒng)的IDE(集成開(kāi)發(fā)環(huán)境)斷點(diǎn)可能無(wú)法有效發(fā)揮作用。許多操作都是異步進(jìn)行的,或者涉及流式數(shù)據(jù),導(dǎo)致同一行代碼對(duì)單個(gè)用戶(hù)查詢(xún)執(zhí)行多次。Azure AI Studio(國(guó)際版)的追蹤功能可幫助開(kāi)發(fā)者使用簡(jiǎn)單的代碼工具,通過(guò)提示流SDK調(diào)試這些場(chǎng)景。追蹤功能有助于追蹤延遲問(wèn)題、LLM錯(cuò)誤、令牌使用、函數(shù)調(diào)用和依賴(lài)關(guān)系不匹配等問(wèn)題。
對(duì)于注重代碼體驗(yàn)的用戶(hù),可以使用提示流SDK啟動(dòng)本地Playground。這樣就可以進(jìn)行全面的單元測(cè)試,同時(shí)將追蹤日志無(wú)縫地記錄到云端的Azure AI Studio(國(guó)際版)或本地存儲(chǔ)庫(kù)中。該服務(wù)可以通過(guò)命令行啟動(dòng),也可以在追蹤開(kāi)始時(shí)自動(dòng)啟動(dòng)。
追蹤可以通過(guò)簡(jiǎn)單的裝飾器來(lái)完成。模型調(diào)用會(huì)自動(dòng)被捕獲。
用戶(hù)可以通過(guò)集成開(kāi)發(fā)環(huán)境執(zhí)行"pf flow test--flow"命令,啟動(dòng)本地測(cè)試環(huán)境。該命令利用提示流SDK創(chuàng)建一個(gè)交互式的Playground,并為每次交互啟用追蹤功能,從而方便用戶(hù)對(duì)其應(yīng)用進(jìn)行交互式測(cè)試。
追蹤功能可捕獲并詳細(xì)記錄Copilot智能副駕駛?請(qǐng)求過(guò)程的每一步,從而提高系統(tǒng)健康狀況的可見(jiàn)性,并簡(jiǎn)化了復(fù)雜或非確定性問(wèn)題的調(diào)試過(guò)程。利用OpenTelemetry,提示流追蹤與Azure Monitor集成,可使用連接字符串簡(jiǎn)化監(jiān)控設(shè)置,實(shí)現(xiàn)無(wú)縫配置。
評(píng)估
除了開(kāi)發(fā)和生產(chǎn)過(guò)程中的可觀察性工具外,Azure AI Studio(國(guó)際版)還提供了系統(tǒng)評(píng)估生成輸出的準(zhǔn)確性、質(zhì)量和安全性的工具。手動(dòng)評(píng)估,即手動(dòng)審查和對(duì)應(yīng)用生成的輸出進(jìn)行評(píng)分,這對(duì)于追蹤一組目標(biāo)優(yōu)先事項(xiàng)的進(jìn)展特別有用。例如,開(kāi)發(fā)者或領(lǐng)域?qū)<铱赡軙?huì)查看不同應(yīng)用變體的基礎(chǔ)響應(yīng)情況,并將結(jié)果進(jìn)行比較,為下一次迭代提供參考。
自動(dòng)評(píng)估有助于大規(guī)模衡量應(yīng)用的質(zhì)量和安全性,從而提供更全面的評(píng)估結(jié)果。開(kāi)發(fā)者可以使用預(yù)先構(gòu)建的指標(biāo)進(jìn)行自動(dòng)評(píng)估,也可以使用studio UI或提示流SDK針對(duì)特定的關(guān)注點(diǎn),定制和構(gòu)建自己的指標(biāo)。
雖然客戶(hù)可以自帶測(cè)試數(shù)據(jù)集,但是AI Studio(國(guó)際版)解決了多數(shù)客戶(hù)的一個(gè)主要困擾,即缺乏高質(zhì)量的對(duì)抗測(cè)試數(shù)據(jù),以評(píng)估應(yīng)用的輸出內(nèi)容風(fēng)險(xiǎn)或易受攻擊的可能性。為了大規(guī)模測(cè)試應(yīng)用的安全性,Azure AI Studio(國(guó)際版)將自動(dòng)生成對(duì)抗性輸入,并對(duì)應(yīng)用進(jìn)行角色扮演攻擊,以生成提示和響應(yīng)的測(cè)試數(shù)據(jù)集,供評(píng)估使用。開(kāi)發(fā)者可以使用最終分?jǐn)?shù)和測(cè)試結(jié)果,來(lái)了解他們的應(yīng)用是否可以發(fā)布,或者仍需要做更多工作,以降低風(fēng)險(xiǎn)。
評(píng)估器可幫助開(kāi)發(fā)者進(jìn)一步實(shí)現(xiàn)自定義和擴(kuò)展。用戶(hù)可以定義一個(gè)評(píng)估器來(lái)評(píng)估自己定義的屬性。例如,如果零售商希望客服機(jī)器人體現(xiàn)其品牌屬性,可以設(shè)計(jì)一個(gè)評(píng)估器來(lái)評(píng)估輸出的基礎(chǔ)性(預(yù)置指標(biāo))和禮貌度(自定義指標(biāo))。評(píng)估器可以進(jìn)行版本控制并在組織內(nèi)共享,因此零售商可以選擇在每次自動(dòng)評(píng)估時(shí)運(yùn)行自定義評(píng)估器,以提高項(xiàng)目間的一致性。開(kāi)發(fā)者可以使用提示流SDK在本地運(yùn)行評(píng)估器并將結(jié)果記錄在云中,也可以在Azure AI Studio(國(guó)際版)UI中作為自動(dòng)評(píng)估的一部分運(yùn)行評(píng)估器。
04
負(fù)責(zé)任的人工智能工具與實(shí)踐
使用可配置的過(guò)濾器和控件,保護(hù)人工智能應(yīng)用
一旦客戶(hù)部署他們的解決方案,Azure AI內(nèi)容安全(Azure AI Content Safety)會(huì)通過(guò)各種分類(lèi)模型運(yùn)行輸入提示和輸出完成,從而保護(hù)應(yīng)用端點(diǎn)。內(nèi)置安全度量指標(biāo)旨在幫助識(shí)別和防御有害、有偏見(jiàn)、無(wú)根據(jù)和不適當(dāng)?shù)膬?nèi)容,以及對(duì)維護(hù)對(duì)用戶(hù)信任所需的關(guān)鍵提示進(jìn)行的攻擊。在Build大會(huì)上,我們發(fā)布了自定義類(lèi)別,這樣用戶(hù)就可以在所提供的默認(rèn)過(guò)濾器之外,創(chuàng)建和使用自定義內(nèi)容過(guò)濾器。
05
企業(yè)級(jí)規(guī)模的生產(chǎn)
開(kāi)發(fā)者可以將他們的智能創(chuàng)新,部署和擴(kuò)展到Azure Web應(yīng)用程序,以便在網(wǎng)站和應(yīng)用中使用,或作為容器化模型進(jìn)行本地部署。他們還可以自動(dòng)執(zhí)行工作流和警報(bào),以便及時(shí)解決問(wèn)題。
開(kāi)發(fā)者通過(guò)跨組織資源管理保持敏捷性。他們可以使用Microsoft Entra ID安全管理在線(xiàn)終端,同時(shí)Azure提供了企業(yè)級(jí)的安全性、隱私性和合規(guī)性,適用于規(guī)模化的治理。
06
客戶(hù)案例
迄今為止,Azure AI為超過(guò)53,000家客戶(hù)推動(dòng)創(chuàng)新,而且這一數(shù)字還在不斷增長(zhǎng)??蛻?hù)通過(guò)企業(yè)聊天提供多模式知識(shí)挖掘,并通過(guò)先進(jìn)的數(shù)據(jù)和語(yǔ)音分析改善客戶(hù)互動(dòng)和服務(wù)。他們還能更高效地生成內(nèi)容,同時(shí)通過(guò)個(gè)性化服務(wù),為銷(xiāo)售和營(yíng)銷(xiāo)戰(zhàn)略賦能。
Sweco公司使用GPT
Sweco是歐洲一家建筑和工程公司,該公司開(kāi)發(fā)了SwecoGPT,以幫助其顧問(wèn)查找關(guān)鍵項(xiàng)目信息、創(chuàng)建和分析文檔,并利用節(jié)省下來(lái)的時(shí)間為客戶(hù)提供更加個(gè)性化的服務(wù)。通過(guò)Azure AI Studio(國(guó)際版),他們能夠快速部署,突顯了Azure AI的彈性和強(qiáng)大性。
借助Azure AI Studio(國(guó)際版),我們能夠快速開(kāi)發(fā)POC,以了解SwecoGPT的操作界面以及如何使我們的顧問(wèn)和我們的業(yè)務(wù)整體受益。這充分展示了Azure AI的強(qiáng)大功能和可擴(kuò)展性。
——David Hunter
Sweco人工智能與自動(dòng)化主管
對(duì)于我們來(lái)說(shuō),Azure AI Studio(國(guó)際版)的潛力,以及我們可以為客戶(hù)做的,都是無(wú)限的。
——Shah Muhammad
Sweco AB人工智能創(chuàng)新負(fù)責(zé)人
Parloa的人工智能對(duì)話(huà)平臺(tái)
Parloa使用Azure AI Studio(國(guó)際版)創(chuàng)建了多語(yǔ)言AI Copilot智能副駕駛?,可簡(jiǎn)化跨通信渠道的客戶(hù)服務(wù)。
我們認(rèn)為Azure AI Studio(國(guó)際版)是一個(gè)強(qiáng)大的、全新的開(kāi)發(fā)者平臺(tái),可以幫助我們?yōu)槲磥?lái)的智能聯(lián)絡(luò)中心平臺(tái),開(kāi)發(fā)AI代理。
——Ciaran O'Reilly
Parloa對(duì)話(huà)式人工智能工程負(fù)責(zé)人
H&R Block的人工智能稅務(wù)助手
H&R Block是Azure AI的長(zhǎng)期客戶(hù)。他們的最新創(chuàng)新產(chǎn)品——AI稅務(wù)助手,是一個(gè)簡(jiǎn)化報(bào)稅流程的人工智能代理。
有了Azure AI Studio(國(guó)際版),我們的開(kāi)發(fā)者可以更快地編寫(xiě)代碼,因此他們有時(shí)間進(jìn)行'實(shí)驗(yàn)',對(duì)一些功能進(jìn)行微調(diào)。比如允許個(gè)人根據(jù)需要進(jìn)行對(duì)話(huà)式提問(wèn),以及能夠重新訪(fǎng)問(wèn)以前的對(duì)話(huà)記錄。我們將繼續(xù)采用這種方法,推動(dòng)創(chuàng)新,提供最佳體驗(yàn)。
——Aditya Thadani
H&R Block人工智能平臺(tái)副總裁
Azure AI Studio(國(guó)際版)的客戶(hù)創(chuàng)新不僅突顯了該平臺(tái)的強(qiáng)大功能,還證明了它在推動(dòng)各行各業(yè)實(shí)現(xiàn)事半功倍方面所發(fā)揮的作用。
07
進(jìn)入下一代人工智能,從現(xiàn)在開(kāi)始
Azure AI Studio(國(guó)際版)正在重塑人工智能應(yīng)用開(kāi)發(fā)方式,提供了一個(gè)周到且強(qiáng)大的平臺(tái),將創(chuàng)新與責(zé)任相結(jié)合。在微軟技術(shù)的支持下,開(kāi)發(fā)團(tuán)隊(duì)擁有各種工具,可以自信地探索生成式人工智能的可能性,并部署可用于生產(chǎn)的Copilot智能副駕駛。立即體驗(yàn)Azure AI Studio(國(guó)際版)的尖端功能,自信、輕松地開(kāi)始構(gòu)建、測(cè)試和部署!