Facebook發(fā)布Ego4D項目成果：提供超3000小時的日常生活活動視頻

據(jù)外媒報道，F(xiàn)acebook人工智能部門發(fā)布了關(guān)于其“Ego4D”項目的一些成果。這項研究與“9個國家的13所大學(xué)和實驗室組成的聯(lián)盟”合作，共同收集了“2200個小時的戶外第一人稱視角視頻，其中有700多名參與者正在進行他們的日常生活”。

在這項研究中，與Facebook AI合作的研究人員的目的是開發(fā)“從這個角度理解世界”*的人工智能，以便他們能夠“開啟一個沉浸式體驗的新時代”。他們正在具體研究增強現(xiàn)實（AR）眼鏡和虛擬現(xiàn)實（VR）頭顯將如何“在日常生活中變得像智能手機一樣有用”。

*研究人員在這里指的是第一人稱視角。他們用第一人稱視角拍攝的視頻來工作，而不是通過視頻和照片來訓(xùn)練人工智能的正常視角：第三人稱視角。

研究人員為這個項目列出了五個"基準(zhǔn)挑戰(zhàn)"，有效地展示了他們正在追蹤的內(nèi)容。要清楚的是：Facebook并沒有通過真實的現(xiàn)場設(shè)備來追蹤這個項目的數(shù)據(jù)--現(xiàn)在還沒有。這些都是通過Facebook AI為這個項目獲得的第一人稱視角視頻進行追蹤。

-事件記憶：什么時候發(fā)生了什么？

-預(yù)測：我接下來可能會做什么？

-手和物體的操作：我在做什么？

-視聽日記：誰在什么時候說了什么？

-社會互動：誰在與誰互動？

根據(jù)Facebook AI的說法，他們對這一主題的研究與一個數(shù)據(jù)集合作，該數(shù)據(jù)集"就錄像的小時數(shù)而言"比其他任何數(shù)據(jù)集都要大20倍。正是通過Facebook AI的Ego4D項目公告，這一信息才得以公開。

有關(guān)這個項目的研究論文《Ego4D:Around the World in 3,000 Hours of Egocentric Video》已在arXiv發(fā)表。