IBM機(jī)器學(xué)習(xí)框架CodeFlare，大幅縮短I模型訓(xùn)練流程

IBM于近期推出了全新無服務(wù)器的開源框架CodeFlare，幫助開發(fā)人員減少在混合云環(huán)境中部署AI模型所花費(fèi)的時間，此框架目前已在GitHub上開源。

使用CodeFlare后，減少94%機(jī)器學(xué)習(xí)模型Pipeline執(zhí)行時長

對于企業(yè)而言，訓(xùn)練出一個機(jī)器學(xué)習(xí)模型從來不是主要的瓶頸—那什么才是呢？

在生產(chǎn)環(huán)境中的持續(xù)運(yùn)營、構(gòu)建完整的人工智能系統(tǒng)，完成規(guī)?；涞兀抑虚g沒有任何重大的斷層，這才是真正的挑戰(zhàn)。然而，企業(yè)為了隨時應(yīng)對新需求來部署機(jī)器學(xué)習(xí)解決方案，經(jīng)常只能不斷重寫實(shí)驗(yàn)程序代碼來迭代，但這種方法是模棱兩可的，在不具備MLOps的概念之下，成功幾率更低。

據(jù)IBM表示，用戶使用CodeFlare框架分析和優(yōu)化大約100,000個用于訓(xùn)練機(jī)器學(xué)習(xí)模型的pipeline時，可將執(zhí)行時長從原本的4小時大幅縮減到短短15分鐘。

資料科學(xué)和機(jī)器學(xué)習(xí)分析，在各個垂直領(lǐng)域的需求正在激增，任務(wù)也變得越來越復(fù)雜。隨著資料集越來越大，涉及的系統(tǒng)也變多，使得AI研究人員和開發(fā)人員得花更多時間配置在模型設(shè)置上，要創(chuàng)建一個機(jī)器學(xué)習(xí)模型，必須還得進(jìn)行數(shù)據(jù)清洗、特征標(biāo)準(zhǔn)化、特征提取等耗時、耗力、多重的前置作業(yè)，才能進(jìn)行訓(xùn)練優(yōu)化。

而CodeFlare存在的目的，就是要簡化AI迭代過程，讓數(shù)據(jù)工作流程更容易規(guī)?；M(jìn)行。CodeFlare框架主要是創(chuàng)建在Ray之上—Ray是加州大學(xué)伯克利分校RISE實(shí)驗(yàn)室為AI應(yīng)用程序開發(fā)的開源分布式計(jì)算系統(tǒng)，也是源自IBM集團(tuán)的一個項(xiàng)目，通過該項(xiàng)目也創(chuàng)建出了世界上第一個原型2納米芯片。

IBM框架CodeFlare接口基于Python，具三大特點(diǎn)

IBM Research混合云平臺總監(jiān)Priya Nagpurkar透露：“CodeFlare采用了簡化機(jī)器學(xué)習(xí)的概念…更進(jìn)一步把每個孤立的步驟串聯(lián)起，將端到端pipeline與資料科學(xué)家熟悉的接口無縫集成—比如Python，而不是容器（container）。CodeFlare使用了統(tǒng)一的runtime和程序接口，有助于簡化pipeline集成和擴(kuò)展的過程，展現(xiàn)與眾不同的性能?！?/p>

具體來說，CodeFlare擁有以下三大特點(diǎn)：

1.基于Python的接口，可用于管理跨平臺的pipeline，且pipeline可以在大多數(shù)計(jì)算環(huán)境中共享資源、進(jìn)行平行化運(yùn)算。通過轉(zhuǎn)接器與其他云原生生態(tài)系統(tǒng)統(tǒng)集成和銜接，形成橫向分布式工作流程，開發(fā)人員也不必為了維護(hù)管理而去學(xué)新的語言。

2.觸發(fā)器功能，使CodeFlare pipeline能夠在發(fā)生某些特定事件（例如有新文件抵達(dá)）時被啟動，同時，可從任何來源加載和分割資料，讓pipeline能夠有效去運(yùn)用一系列數(shù)據(jù)源，包括文件系統(tǒng)、對象存儲、數(shù)據(jù)湖和分布式文件系統(tǒng)。

3.可以部署在任何云基礎(chǔ)架構(gòu)上，通過和Red Hat OpenShift和IBM Cloud Code Engine的集成，實(shí)現(xiàn)了無服務(wù)器的體驗(yàn)，并供用戶在任意平臺創(chuàng)建工作流程，具備拓展無服務(wù)器服務(wù)的好處。

從廣泛角度來看，CodeFlare的概念類似于Amazon SageMaker Pipelines，聚焦在從云儀表板自動化、組織機(jī)器學(xué)習(xí)pipeline的流程，而Google、微軟和Hybernet Labs則是分別在Cloud AI Platform Pipelines、Azure Machine Learning Pipelines和Galileo中提供了相似的服務(wù)。但I(xiàn)BM強(qiáng)調(diào)，CodeFlare結(jié)合了本地和云計(jì)算基礎(chǔ)架構(gòu)，是從本地端開始構(gòu)建來支持混合云的。

“該框架背后的動機(jī)，是為了收攏工作流程，還有為了完美結(jié)合人工智能、機(jī)器學(xué)習(xí)、資料分析和建?！保琋agpurkar表示，“我們看到了在runtime之下能大幅優(yōu)化渠道的機(jī)會，可以有效管理和改善數(shù)據(jù)依賴性（data dependencies）、執(zhí)行控制性（execution control）?！?/p>

CodeFlare已開源，降低企業(yè)AI部署混合云難度

目前CodeFlare已在GitHub開源，IBM也提供了一系列有關(guān)其工作原理，以及開發(fā)人員入門所需的技術(shù)博客文章。預(yù)期未來，IBM計(jì)劃繼續(xù)發(fā)展CodeFlare，來支持更復(fù)雜的pipeline和功能，例如容錯和一致性、外部資源的集成和數(shù)據(jù)管理，以及強(qiáng)化對可視化渠道的支持。

就目前的性能來看，CodeFlare已經(jīng)可以將執(zhí)行100,000個訓(xùn)練渠道的分析和優(yōu)化時間，從4小時縮短到15分鐘。此外，IBM正在與客戶合作，將CodeFlare集成到他們的軟件流程中，也在IBM自家的AI研究中使用此框架。

“實(shí)現(xiàn)一致性的體驗(yàn)，以將pipeline從筆記本擴(kuò)展到小型集群（cluster）、再到云，是CodeFlare的一大關(guān)注點(diǎn)”，Nagpurkar補(bǔ)充，“我們將CodeFlare視為我們混合云平臺發(fā)展的關(guān)鍵下一步，對用戶的價(jià)值方面，我們必須強(qiáng)調(diào)，通過顯著提高效率，CodeFlare不僅可以節(jié)省成本和時間，而且還創(chuàng)造了機(jī)會來解決以前由于規(guī)?；驈?fù)雜度等原因、而根本不切實(shí)際的新使用場景?！?/p>

有了像CodeFlare這種具備MLOps優(yōu)勢的框架，開發(fā)人員就不必一直重復(fù)相同的工作，也不需要徹底理解pipeline的配置，用統(tǒng)一接口就可使用豐富的工具和API一致的進(jìn)行操作，把更多寶貴的時間放在研究和實(shí)際應(yīng)用上，簡化配置和部署的復(fù)雜工作流程，更快速部署到混合云，開發(fā)和部署AI模型的過程，又會變得輕巧許多。