Facebook發(fā)布Ego4D項(xiàng)目成果：提供超3000小時(shí)的日常生活活動(dòng)視頻

據(jù)外媒報(bào)道，F(xiàn)acebook人工智能部門(mén)發(fā)布了關(guān)于其“Ego4D”項(xiàng)目的一些成果。這項(xiàng)研究與“9個(gè)國(guó)家的13所大學(xué)和實(shí)驗(yàn)室組成的聯(lián)盟”合作，共同收集了“2200個(gè)小時(shí)的戶外第一人稱(chēng)視角視頻，其中有700多名參與者正在進(jìn)行他們的日常生活”。

在這項(xiàng)研究中，與Facebook AI合作的研究人員的目的是開(kāi)發(fā)“從這個(gè)角度理解世界”*的人工智能，以便他們能夠“開(kāi)啟一個(gè)沉浸式體驗(yàn)的新時(shí)代”。他們正在具體研究增強(qiáng)現(xiàn)實(shí)（AR）眼鏡和虛擬現(xiàn)實(shí)（VR）頭顯將如何“在日常生活中變得像智能手機(jī)一樣有用”。

*研究人員在這里指的是第一人稱(chēng)視角。他們用第一人稱(chēng)視角拍攝的視頻來(lái)工作，而不是通過(guò)視頻和照片來(lái)訓(xùn)練人工智能的正常視角：第三人稱(chēng)視角。

研究人員為這個(gè)項(xiàng)目列出了五個(gè)"基準(zhǔn)挑戰(zhàn)"，有效地展示了他們正在追蹤的內(nèi)容。要清楚的是：Facebook并沒(méi)有通過(guò)真實(shí)的現(xiàn)場(chǎng)設(shè)備來(lái)追蹤這個(gè)項(xiàng)目的數(shù)據(jù)--現(xiàn)在還沒(méi)有。這些都是通過(guò)Facebook AI為這個(gè)項(xiàng)目獲得的第一人稱(chēng)視角視頻進(jìn)行追蹤。

-事件記憶：什么時(shí)候發(fā)生了什么？

-預(yù)測(cè)：我接下來(lái)可能會(huì)做什么？

-手和物體的操作：我在做什么？

-視聽(tīng)日記：誰(shuí)在什么時(shí)候說(shuō)了什么？

-社會(huì)互動(dòng)：誰(shuí)在與誰(shuí)互動(dòng)？

根據(jù)Facebook AI的說(shuō)法，他們對(duì)這一主題的研究與一個(gè)數(shù)據(jù)集合作，該數(shù)據(jù)集"就錄像的小時(shí)數(shù)而言"比其他任何數(shù)據(jù)集都要大20倍。正是通過(guò)Facebook AI的Ego4D項(xiàng)目公告，這一信息才得以公開(kāi)。

有關(guān)這個(gè)項(xiàng)目的研究論文《Ego4D:Around the World in 3,000 Hours of Egocentric Video》已在arXiv發(fā)表。