使用Azure AI Studio（國際版）負(fù)責(zé)任地開發(fā)和部署生成式智能應(yīng)用

在過去的一年里，不論是身邊人的閑聊，還是技術(shù)論壇上的深入討論，生成式人工智能技術(shù)的話題無處不在。生成式人工智能技術(shù)，正在改變企業(yè)思考產(chǎn)品的方式、開發(fā)軟件的方式以及利用技術(shù)提高生產(chǎn)力的方式。

2023年，全球各地的公司都在這項(xiàng)技術(shù)上投入資源，以充分了解其能力和適用性。然而，隨著深入了解，大家意識到一個新問題：如果生成式人工智能技術(shù)不受約束，它極有可能會犯錯。它可能會生成不存在的URL、編造數(shù)據(jù)、發(fā)布不必要的道歉，甚至修改某些重要比賽的結(jié)果。

因此，企業(yè)開始追求質(zhì)量提升。他們采用了新的持續(xù)集成/持續(xù)交付（CI/CD）和回歸測試方法，減少了不適當(dāng)智能響應(yīng)的難題。他們還在生產(chǎn)環(huán)境中加強(qiáng)了對人工智能解決方案的監(jiān)控——這是一個類似于傳統(tǒng)軟件開發(fā)的復(fù)雜過程，但由于生成式人工智能技術(shù)的不可預(yù)測性，使得這個過程變得更加復(fù)雜。

在2024年，已知的錯誤類型包括基礎(chǔ)性、流暢性、輸出長度和不可預(yù)測延遲等，所有這些都需要在合并到主分支之前進(jìn)行回歸測試。此外，確保生成的文本和數(shù)字媒體內(nèi)容合規(guī)也至關(guān)重要，它需要通過嚴(yán)格的測試以防止生成仇恨言論、不恰當(dāng)?shù)幕蚺c事實(shí)不符的內(nèi)容。此外，還需要采取其他措施，防止有人試圖操縱或"越獄"系統(tǒng)。測試和監(jiān)控是需要持續(xù)進(jìn)行的，對單個請求和整體系統(tǒng)都需要，以防止隨著時間的推移出現(xiàn)任何偏差。

要創(chuàng)建支持高級用例的負(fù)責(zé)任的、真正具有變革性的、定制的、可用于生產(chǎn)的Copilot智能副駕駛?，需要將多個互操作API與模型、提示和基礎(chǔ)數(shù)據(jù)相結(jié)合，并進(jìn)行微調(diào)、測試和大規(guī)模部署。為此，開發(fā)者需要合適的工具。

01

Azure AI Studio（國際版）

現(xiàn)已全面在全球上市

我們非常高興地宣布Azure AI Studio（國際版）現(xiàn)已全面上市，作為您開發(fā)和部署生成式智能應(yīng)用的首選平臺，無論您的生成式智能用例是什么，Azure AI Studio（國際版）都能加速整個生成式智能開發(fā)生命周期，使開發(fā)者能夠利用人工智能構(gòu)建和塑造未來。

Azure AI Studio（國際版）是微軟Copilot智能副駕駛?平臺的重要組成部分。它是一個專業(yè)代碼平臺，提供完全自定義和具有配置生成式智能應(yīng)用的能力，此外它還具有Azure級的安全性、隱私性和合規(guī)性。靈活且集成的可視化和代碼優(yōu)先工具，以及預(yù)構(gòu)建的快速入門模板，可簡化和加速使用Azure AI（國際版）服務(wù)和工具實(shí)現(xiàn)創(chuàng)建Copilot智能副駕駛?的過程，它還對基礎(chǔ)設(shè)施有完全的控制權(quán)。

它通過簡單的設(shè)置、管理和API支持，簡化了從概念到生產(chǎn)的轉(zhuǎn)化過程，同時還幫助開發(fā)者解決安全和質(zhì)量問題。該平臺包括Azure AI（國際版）服務(wù)，如Azure OpenAI（國際版）服務(wù)和Azure AI（國際版）搜索，以及來自Azure機(jī)器學(xué)習(xí)的開發(fā)者熟知的工具，如用于快速原型設(shè)計的提示流。它支持代碼優(yōu)先的SDK和CLI，并與Azure開發(fā)者（AZD）CLI和Visual Studio Code的智能工具包集成，以在需求增長時提供所需的可擴(kuò)展性。

02

API和模型選擇

探索適合您用例的最佳人工智能服務(wù)和模型

無論何種用例，開發(fā)者都可以利用開箱即用的可定制模型和API（如語言、語音、內(nèi)容安全等）構(gòu)建智能的多模態(tài)、多語言智能副駕。

通過模型目錄，您可以找到來自微軟和其他提供商的600多個模型，包括GPT 4 Turbo with Vision和微軟的小語言模型（SLM）Phi3，以及來自Core42和Nixtla的新模型。Bria AI、Gretel、NTT DATA、Stability AI、AI21和Cohere Rerank的模型將在不久之后推出。Azure AI（國際版）提供最廣泛的部署模型，經(jīng)過打包和優(yōu)化，可在Azure AI平臺上運(yùn)行。同時，Hugging Face系列提供了數(shù)百個模型，使用戶能夠根據(jù)需要選擇最適合的模型。

Azure AI Studio（國際版）的模型基準(zhǔn)儀表板，允許開發(fā)者對各種行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)集的模型性能進(jìn)行比較，以了解特定模型的最佳性能?；鶞?zhǔn)測試使用準(zhǔn)確性、一致性、流暢性和GPT相似性等指標(biāo)對模型進(jìn)行評估。用戶可以通過儀表板圖形和列表格式查看基準(zhǔn)結(jié)果，從而對模型進(jìn)行并排比較。

模型目錄提供兩種部署模型的方法：模型即服務(wù)（MaaS）和模型即平臺（MaaP）。模型即服務(wù)提供按令牌付費(fèi)的定價方式；模型即平臺則提供部署在專用虛擬機(jī)（VM）上的模型，它按每小時VM計費(fèi)。

Azure AI Studio（國際版）還會在模型加入Azure AI（國際版）集合之前掃描開源模型，檢測它們是否存在安全威脅和漏洞，并在模型卡中提供驗(yàn)證信息，以便開發(fā)者可以放心的部署模型。

03

完整的人工智能工具鏈

Azure AI Studio（國際版）提供協(xié)作和全面的工具，以支持開發(fā)生命周期，可使您的應(yīng)用與眾不同。

設(shè)置您的Hub和項(xiàng)目

Azure AI Studio（國際版）可加速基于團(tuán)隊的人工智能開發(fā)，其中央hub可跨項(xiàng)目共享資源，幫助消除IT瓶頸。開發(fā)者還可以通過啟動腳本或使用studio UI啟動項(xiàng)目。腳本一旦執(zhí)行，就會生成一個.env文件，其中包括對連接資源的引用以及所需的訪問密鑰。

每個hub可連接任意數(shù)量的項(xiàng)目，這些項(xiàng)目可繼承hub的安全配置。Hub和項(xiàng)目都是具有安全意識的實(shí)體。在Hub內(nèi)可以指定管理員，以管理人工智能資源并控制項(xiàng)目成員的訪問權(quán)限。Azure AI Studio（國際版）的連接框架旨在驗(yàn)證和集成來自微軟生態(tài)系統(tǒng)和外部提供商的各種資源。

在playground中試驗(yàn)prompts

在AI Studio（國際版）中，為開發(fā)者配備了一套友好的Playground，包括聊天機(jī)器人、助手、圖像生成和文本補(bǔ)全等。這種靈活的沙盒環(huán)境允許開發(fā)者使用各種模型進(jìn)行實(shí)驗(yàn)，通過迭代測試優(yōu)化系統(tǒng)提示，使用自己的數(shù)據(jù)集進(jìn)行模型定制，以獲得滿足特定需求的結(jié)果。此外，開發(fā)者還可以試驗(yàn)安全系統(tǒng)消息。

使用Azure AI（國際版）搜索進(jìn)行數(shù)據(jù)檢索

Azure AI Studio（國際版）原生支持Azure AI搜索，用于檢索增強(qiáng)生成（RAG）場景，使開發(fā)者能夠利用數(shù)據(jù)檢索方法，基于安全的客戶特定數(shù)據(jù)作出響應(yīng)。該平臺可與眾多數(shù)據(jù)源輕松集成，包括Microsoft Fabric中的OneLake、Azure Blob Storage和Azure Files。由于數(shù)據(jù)資產(chǎn)可以集成到模型工作流中，因此這種連接集成使用戶能夠開發(fā)出更智能、更具感知上下文的Copilot智能副駕駛?。

微調(diào)

在開發(fā)生成式人工智能應(yīng)用時，RAG（檢索增強(qiáng)生成）應(yīng)用于需要外部知識的任務(wù)，而微調(diào)則適用于將預(yù)先訓(xùn)練好的模型調(diào)整為具有特定標(biāo)記數(shù)據(jù)的任務(wù)。監(jiān)督微調(diào)對于定制模型至關(guān)重要，因?yàn)閷I(yè)任務(wù)通常需要大模型的推理能力，但其特定任務(wù)的范圍相對較窄。在Azure AI Studio（國際版）中，用戶可以對Babbage、Davinci、GPT-35-Turbo、GPT-4以及Llama 3和Phi-3系列等模型進(jìn)行微調(diào)。

基于代理的編排

隨著開發(fā)者逐漸認(rèn)識到LLM和SLM的潛力，他們正在推動復(fù)雜的實(shí)際應(yīng)用開發(fā)。他們利用代理系統(tǒng)，如Azure OpenAI（國際版）服務(wù)助手API、基于功能的應(yīng)用和AutoGen框架，來解決更復(fù)雜、更具開放的問題。正如預(yù)期的那樣，這一轉(zhuǎn)變帶來了新的挑戰(zhàn)，尤其是由于所應(yīng)用編排的開放性。

追蹤和調(diào)試

追蹤對于了解Copilot智能副駕駛?的工作方式至關(guān)重要，尤其是在復(fù)雜的工作流中，傳統(tǒng)的IDE（集成開發(fā)環(huán)境）斷點(diǎn)可能無法有效發(fā)揮作用。許多操作都是異步進(jìn)行的，或者涉及流式數(shù)據(jù)，導(dǎo)致同一行代碼對單個用戶查詢執(zhí)行多次。Azure AI Studio（國際版）的追蹤功能可幫助開發(fā)者使用簡單的代碼工具，通過提示流SDK調(diào)試這些場景。追蹤功能有助于追蹤延遲問題、LLM錯誤、令牌使用、函數(shù)調(diào)用和依賴關(guān)系不匹配等問題。

對于注重代碼體驗(yàn)的用戶，可以使用提示流SDK啟動本地Playground。這樣就可以進(jìn)行全面的單元測試，同時將追蹤日志無縫地記錄到云端的Azure AI Studio（國際版）或本地存儲庫中。該服務(wù)可以通過命令行啟動，也可以在追蹤開始時自動啟動。

追蹤可以通過簡單的裝飾器來完成。模型調(diào)用會自動被捕獲。

用戶可以通過集成開發(fā)環(huán)境執(zhí)行"pf flow test--flow"命令，啟動本地測試環(huán)境。該命令利用提示流SDK創(chuàng)建一個交互式的Playground，并為每次交互啟用追蹤功能，從而方便用戶對其應(yīng)用進(jìn)行交互式測試。

追蹤功能可捕獲并詳細(xì)記錄Copilot智能副駕駛?請求過程的每一步，從而提高系統(tǒng)健康狀況的可見性，并簡化了復(fù)雜或非確定性問題的調(diào)試過程。利用OpenTelemetry，提示流追蹤與Azure Monitor集成，可使用連接字符串簡化監(jiān)控設(shè)置，實(shí)現(xiàn)無縫配置。

評估

除了開發(fā)和生產(chǎn)過程中的可觀察性工具外，Azure AI Studio（國際版）還提供了系統(tǒng)評估生成輸出的準(zhǔn)確性、質(zhì)量和安全性的工具。手動評估，即手動審查和對應(yīng)用生成的輸出進(jìn)行評分，這對于追蹤一組目標(biāo)優(yōu)先事項(xiàng)的進(jìn)展特別有用。例如，開發(fā)者或領(lǐng)域?qū)＜铱赡軙榭床煌瑧?yīng)用變體的基礎(chǔ)響應(yīng)情況，并將結(jié)果進(jìn)行比較，為下一次迭代提供參考。

自動評估有助于大規(guī)模衡量應(yīng)用的質(zhì)量和安全性，從而提供更全面的評估結(jié)果。開發(fā)者可以使用預(yù)先構(gòu)建的指標(biāo)進(jìn)行自動評估，也可以使用studio UI或提示流SDK針對特定的關(guān)注點(diǎn)，定制和構(gòu)建自己的指標(biāo)。

雖然客戶可以自帶測試數(shù)據(jù)集，但是AI Studio（國際版）解決了多數(shù)客戶的一個主要困擾，即缺乏高質(zhì)量的對抗測試數(shù)據(jù)，以評估應(yīng)用的輸出內(nèi)容風(fēng)險或易受攻擊的可能性。為了大規(guī)模測試應(yīng)用的安全性，Azure AI Studio（國際版）將自動生成對抗性輸入，并對應(yīng)用進(jìn)行角色扮演攻擊，以生成提示和響應(yīng)的測試數(shù)據(jù)集，供評估使用。開發(fā)者可以使用最終分?jǐn)?shù)和測試結(jié)果，來了解他們的應(yīng)用是否可以發(fā)布，或者仍需要做更多工作，以降低風(fēng)險。

評估器可幫助開發(fā)者進(jìn)一步實(shí)現(xiàn)自定義和擴(kuò)展。用戶可以定義一個評估器來評估自己定義的屬性。例如，如果零售商希望客服機(jī)器人體現(xiàn)其品牌屬性，可以設(shè)計一個評估器來評估輸出的基礎(chǔ)性（預(yù)置指標(biāo)）和禮貌度（自定義指標(biāo)）。評估器可以進(jìn)行版本控制并在組織內(nèi)共享，因此零售商可以選擇在每次自動評估時運(yùn)行自定義評估器，以提高項(xiàng)目間的一致性。開發(fā)者可以使用提示流SDK在本地運(yùn)行評估器并將結(jié)果記錄在云中，也可以在Azure AI Studio（國際版）UI中作為自動評估的一部分運(yùn)行評估器。

04

負(fù)責(zé)任的人工智能工具與實(shí)踐

使用可配置的過濾器和控件，保護(hù)人工智能應(yīng)用

一旦客戶部署他們的解決方案，Azure AI內(nèi)容安全（Azure AI Content Safety）會通過各種分類模型運(yùn)行輸入提示和輸出完成，從而保護(hù)應(yīng)用端點(diǎn)。內(nèi)置安全度量指標(biāo)旨在幫助識別和防御有害、有偏見、無根據(jù)和不適當(dāng)?shù)膬?nèi)容，以及對維護(hù)對用戶信任所需的關(guān)鍵提示進(jìn)行的攻擊。在Build大會上，我們發(fā)布了自定義類別，這樣用戶就可以在所提供的默認(rèn)過濾器之外，創(chuàng)建和使用自定義內(nèi)容過濾器。

05

企業(yè)級規(guī)模的生產(chǎn)

開發(fā)者可以將他們的智能創(chuàng)新，部署和擴(kuò)展到Azure Web應(yīng)用程序，以便在網(wǎng)站和應(yīng)用中使用，或作為容器化模型進(jìn)行本地部署。他們還可以自動執(zhí)行工作流和警報，以便及時解決問題。

開發(fā)者通過跨組織資源管理保持敏捷性。他們可以使用Microsoft Entra ID安全管理在線終端，同時Azure提供了企業(yè)級的安全性、隱私性和合規(guī)性，適用于規(guī)?；闹卫?。

06

客戶案例

迄今為止，Azure AI為超過53,000家客戶推動創(chuàng)新，而且這一數(shù)字還在不斷增長。客戶通過企業(yè)聊天提供多模式知識挖掘，并通過先進(jìn)的數(shù)據(jù)和語音分析改善客戶互動和服務(wù)。他們還能更高效地生成內(nèi)容，同時通過個性化服務(wù)，為銷售和營銷戰(zhàn)略賦能。

Sweco公司使用GPT

Sweco是歐洲一家建筑和工程公司，該公司開發(fā)了SwecoGPT，以幫助其顧問查找關(guān)鍵項(xiàng)目信息、創(chuàng)建和分析文檔，并利用節(jié)省下來的時間為客戶提供更加個性化的服務(wù)。通過Azure AI Studio（國際版），他們能夠快速部署，突顯了Azure AI的彈性和強(qiáng)大性。

借助Azure AI Studio（國際版），我們能夠快速開發(fā)POC，以了解SwecoGPT的操作界面以及如何使我們的顧問和我們的業(yè)務(wù)整體受益。這充分展示了Azure AI的強(qiáng)大功能和可擴(kuò)展性。

——David Hunter

Sweco人工智能與自動化主管

對于我們來說，Azure AI Studio（國際版）的潛力，以及我們可以為客戶做的，都是無限的。

——Shah Muhammad

Sweco AB人工智能創(chuàng)新負(fù)責(zé)人

Parloa的人工智能對話平臺

Parloa使用Azure AI Studio（國際版）創(chuàng)建了多語言AI Copilot智能副駕駛?，可簡化跨通信渠道的客戶服務(wù)。

我們認(rèn)為Azure AI Studio（國際版）是一個強(qiáng)大的、全新的開發(fā)者平臺，可以幫助我們?yōu)槲磥淼闹悄苈?lián)絡(luò)中心平臺，開發(fā)AI代理。

——Ciaran O'Reilly

Parloa對話式人工智能工程負(fù)責(zé)人

H&R Block的人工智能稅務(wù)助手

H&R Block是Azure AI的長期客戶。他們的最新創(chuàng)新產(chǎn)品——AI稅務(wù)助手，是一個簡化報稅流程的人工智能代理。

有了Azure AI Studio（國際版），我們的開發(fā)者可以更快地編寫代碼，因此他們有時間進(jìn)行'實(shí)驗(yàn)'，對一些功能進(jìn)行微調(diào)。比如允許個人根據(jù)需要進(jìn)行對話式提問，以及能夠重新訪問以前的對話記錄。我們將繼續(xù)采用這種方法，推動創(chuàng)新，提供最佳體驗(yàn)。

——Aditya Thadani

H&R Block人工智能平臺副總裁

Azure AI Studio（國際版）的客戶創(chuàng)新不僅突顯了該平臺的強(qiáng)大功能，還證明了它在推動各行各業(yè)實(shí)現(xiàn)事半功倍方面所發(fā)揮的作用。

07

進(jìn)入下一代人工智能，從現(xiàn)在開始

Azure AI Studio（國際版）正在重塑人工智能應(yīng)用開發(fā)方式，提供了一個周到且強(qiáng)大的平臺，將創(chuàng)新與責(zé)任相結(jié)合。在微軟技術(shù)的支持下，開發(fā)團(tuán)隊擁有各種工具，可以自信地探索生成式人工智能的可能性，并部署可用于生產(chǎn)的Copilot智能副駕駛。立即體驗(yàn)Azure AI Studio（國際版）的尖端功能，自信、輕松地開始構(gòu)建、測試和部署!