Meta談VR兩大技術(shù)障礙：眼球追蹤和全身追蹤

在2021 Facebook Connect期間，該公司除了宣布更名Meta之外，確認(rèn)了另外一條重要消息：代號為Project Cambria的頭顯確實(shí)存在。Meta首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）表示，它將與Quest平臺兼容，但這款頭顯不是下一個Quest。

2018年9月，Oculus Quest正式發(fā)布，2019年5月21日，Oculus Quest開始發(fā)售，Quest 2于2020年9月正式發(fā)布。兩款機(jī)型中間間隔了兩年的時間，發(fā)售時間間隔一年零幾個月，根據(jù)時間來看Oculus的研發(fā)進(jìn)度非常迅速，與HTC VIVE相比明顯更新周期更短。

既然Meta已經(jīng)明確表示了Project Cambria的存在，很有可能已經(jīng)在研發(fā)的后半階段，該公司表示將在今年推出，但是具體什么時間發(fā)布還是未知數(shù)。

1.Project Cambria

Project Cambria目前已經(jīng)有過多次爆料，在Connect之前，用戶Bastian在Twitter上發(fā)布了一些揭示Project Cambria的視頻，據(jù)報道，這些視頻是在“Seacliff”固件中發(fā)現(xiàn)的，極有可能是內(nèi)部稱號。

據(jù)悉，Project Cambria將會是一款高端VR一體機(jī)，與較為低廉的Quest2并非同級別產(chǎn)品，更不會成為Quest Pro或Quest 3。同時Project Cambria擁有Quest 2所沒有的功能：高分辨率顏色直通、眼動追蹤、面部追蹤、手柄無跟蹤環(huán)。

高分辨率顏色直通：目前Quest 2通過攝像頭可以在用戶脫離安全區(qū)后在頭顯內(nèi)顯示黑白的現(xiàn)實(shí)世界，而Project Cambria將實(shí)現(xiàn)更高清、具有顏色的直通。實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界的真實(shí)切換，進(jìn)一步保護(hù)用戶。

眼動追蹤：眼動追蹤是眾多VR廠商都在極力研發(fā)和使用的技術(shù)，目前國內(nèi)HTC VIVE Flow、Pico Neo 3Pro等設(shè)備均有眼動追蹤版本可選。眼動追蹤被認(rèn)為可以實(shí)現(xiàn)新的輸入方式，且可以提供注視點(diǎn)渲染。不過，目前為止，僅確認(rèn)Cambria眼動追蹤將用于頭像功能，是否允許開發(fā)人員將其用于輸入和注視點(diǎn)渲染還有待觀察。

面部追蹤：Cambria擁有傳感器來記錄面部動作，同時面部追蹤也會與眼動追蹤共同用于頭像功能，在VR社交中3D化身將會更加真實(shí)。

手柄無跟蹤環(huán)：根據(jù)最先爆料視頻及渲染圖，Cambria手柄并無追蹤環(huán)，但在手柄本身擁有多個攝像頭，有可能用于光學(xué)追蹤。

屆時Project Cambria將與目前Quest系列區(qū)分開，Project Cambria將主打高端市場，Quest系列則將成為平民VR設(shè)備。

Project Cambria最為重要的是眼動追蹤及面部追蹤，且目前Meta同時正在研發(fā)全身追蹤。有開發(fā)者發(fā)現(xiàn)，Quest 2 Tracked Keyboard SDK Getting Started文檔頁面上出現(xiàn)了身體跟蹤支持的新選項(xiàng)。

2.Meta如何看待兩項(xiàng)技術(shù)？

Meta XR主管Andrew Bosworth近期針對眼動追蹤和全身追蹤發(fā)表看法，其認(rèn)為眼動追蹤和全身追蹤是VR的兩大技術(shù)障礙。

Andrew Bosworth表示眼動追蹤還遠(yuǎn)未成熟。Meta長期以來一直在研發(fā)眼動追蹤，以提高人們表達(dá)自己的能力，同時也用于注視點(diǎn)渲染。人與人之間的生物學(xué)差異非常大，尤其是散光或其他人的眼睛很難獲得全面覆蓋。覆蓋率意味著眼動追蹤適用于100%的用戶，對中心點(diǎn)渲染的要求特別高。

捕捉所有身體動作并將其轉(zhuǎn)移到虛擬現(xiàn)實(shí)中會有很多優(yōu)勢，與眼動追蹤一樣，可以實(shí)現(xiàn)更逼真的化身和新的交互形式。Bosworth表示對于人們設(shè)想的一些用例，可能需要對身體進(jìn)行外部跟蹤。這里最大的缺點(diǎn)是需要更多組件，這意味著額外的成本和額外的設(shè)置時間。

針對Quest 2 Tracked Keyboard SDK Getting Started文檔頁面上出現(xiàn)了身體跟蹤支持的新選項(xiàng)，Andrew Bosworth稱其為時過早。

3.兩大技術(shù)難度

眼動追蹤與全身追蹤研發(fā)難度正如Andrew Bosworth所說，Meta正在全力研發(fā)，但是難度極高。Meta需要面對全球的VR用戶，需要考慮到不同國家不同人群的眼睛覆蓋率。

目前眼動跟蹤方法可以分為探查線圈記錄法、紅外線法、電流記錄法和視頻記錄法等等，每一種方法都擁有其優(yōu)缺點(diǎn)。足以證明眼動追蹤本身具有一定的難度和差異性，該技術(shù)已經(jīng)發(fā)展到可以屏幕、網(wǎng)絡(luò)攝像頭和眼鏡中的眼動追蹤器來捕捉和測量眼睛位置和運(yùn)動的程度。

運(yùn)用在VR領(lǐng)域主要是瞳距的問題以及注視點(diǎn)渲染擁有難度，目前注視點(diǎn)渲染已經(jīng)有Tobii等廠商研發(fā)成功。瞳距則成為了最難的研發(fā)障礙，目前還無法得知Meta會采用什么方案解決眼睛覆蓋率問題。

全身追蹤目前可以通過一些傳感器進(jìn)行完成，但是大都采用外部設(shè)備連接進(jìn)行追蹤，或者需要單獨(dú)攝像頭進(jìn)行追蹤。

采用外部跟蹤設(shè)備操作過程繁瑣，并不適用于C端體驗(yàn)，且外部設(shè)備一般很難實(shí)現(xiàn)輕量化等問題。而使用單個攝像頭捕捉畫面追蹤，極易造成跟蹤失敗。

4.Meta眼動追蹤及全身追蹤

未來Meta將會在眼動追蹤及全身追蹤進(jìn)行不斷地完善，目前已知Meta正在研發(fā)觸覺手套等設(shè)備，以實(shí)現(xiàn)更加真實(shí)的VR體驗(yàn)。但是原型手套目前是使用半自動化工藝制造的，需要熟練的工程師和技術(shù)人員制造子系統(tǒng)并大部分手工組裝手套。

Meta提醒說，大規(guī)模生產(chǎn)這樣的手套需要全新的自動化制造技術(shù)。理想情況下，為了獲得最大的觸覺精確度和舒適度，應(yīng)根據(jù)買家的特定手型和尺寸定制手套。

所以觸覺手套的成本居高不下，而眼動追蹤及全身追蹤則很有可能更早用于VR設(shè)備。

Andrew Bosworth既然已經(jīng)提及，說明眼動追蹤及全身追蹤極有可能全部運(yùn)用在Project Cambria，不過依舊存在技術(shù)障礙。Meta產(chǎn)品發(fā)布需要面向全球用戶，所以定會在產(chǎn)品及技術(shù)成熟之后推出。

5.全文總結(jié)

目前的眼動追蹤和全身追蹤已經(jīng)在多個領(lǐng)域應(yīng)用，愛荷華州立大學(xué)商學(xué)教授喬伊·F·喬治表示：“如果人們無法專注于會議上正在發(fā)生的事情，那么也許有一種方法可以改進(jìn)平臺的設(shè)計(jì)，以保持他們的注意力并使會議更有成效?！?/p>

該教授進(jìn)行了一項(xiàng)眼動追蹤研究，根據(jù)眼動追蹤技術(shù)表明參與者會注意說話的人，但與大型小組會議相比，在小組視頻通話期間，他們的視線更多地從電腦屏幕上移開。

眼動追蹤也被用于市場研究、網(wǎng)站測試、游戲和用戶體驗(yàn)、學(xué)習(xí)和教育、神經(jīng)科學(xué)和心理學(xué)、醫(yī)學(xué)研究等領(lǐng)域。而在XR領(lǐng)域，據(jù)稱PSVR2也將應(yīng)用眼動追蹤技術(shù)。

未來的眼動追蹤和全身追蹤會更多的應(yīng)用在XR領(lǐng)域，除了上述的功能之外，眼動追蹤和全身追蹤會更加豐富VR/AR體驗(yàn)。同時，眼動追蹤和全身追蹤也會應(yīng)用在其他領(lǐng)域，包括辦公、娛樂等等。

隨著人工智能的不斷前進(jìn)，眼動追蹤和全身追蹤也會與AI技術(shù)結(jié)合，但是全面使用眼動追蹤和全身追蹤的那一天還需要走很長的路，這不僅僅是Meta需要面對的技術(shù)障礙，同時是我們需要面對的技術(shù)障礙。