利用NLP感知世界 Facebook開源機器人開發(fā)平臺

近日，F(xiàn)acebook宣布開源旗下Droidlet機器人開發(fā)平臺，其特點是能夠利用自然語言處理(NLP)和計算機視覺(CV)技術(shù)來感知周圍的世界。

據(jù)了解，F(xiàn)acebook宣稱該平臺能夠簡化機器學(xué)習(xí)算法在機器人項目中的集成，并促進(jìn)快速的軟件原型設(shè)計。盡管當(dāng)前機器人已能夠通過編程來執(zhí)行舞蹈等特定應(yīng)用，但還是缺乏可在更深層次上處理信息的能力。

不過，Droidlet并不是所有問題的萬能解決方案，而是一種測試不同NLP和CV處理模型的方法。

該平臺允許開發(fā)者構(gòu)建能夠在現(xiàn)實世界中，或《我的世界》和Facebook的Habitat等模擬環(huán)境里完成相關(guān)任務(wù)的系統(tǒng)。開發(fā)者可按需更換組件，來支持可在不同機器人上使用的相同系統(tǒng)。

另外，Droidlet平臺提供了一個儀表板，方便開發(fā)者添加調(diào)試與可視化小部件和相關(guān)工具，以及一個用于糾錯和注釋的界面。

據(jù)悉，除了用于測試針對機器人設(shè)置進(jìn)行微調(diào)的視覺模型的環(huán)境之外，Droidlet還附帶了用于將機器學(xué)習(xí)模型連接到機器人的封包器。

Facebook指出，這些模塊中的每一個都可進(jìn)一步分解為可訓(xùn)練或啟發(fā)式的組件，且相關(guān)模塊與儀表板支持在Droidlet之外的生態(tài)系統(tǒng)中使用。