Facebook手勢(shì)研究：精準(zhǔn)識(shí)別手指姿態(tài)，有遮擋也不怕

截至目前，F(xiàn)acebook在Oculus Quest 2上適用的手勢(shì)追蹤技術(shù)，應(yīng)該是目前消費(fèi)級(jí)產(chǎn)品中體驗(yàn)最佳的手勢(shì)設(shè)備。與此同時(shí)，在手勢(shì)追蹤方面Facebook仍然在致力于打造更好的手勢(shì)追蹤效果。

近期，F(xiàn)acebook Reality Labs發(fā)布《Constraining Dense Hand Surface Tracking with Elasticity》論文，重點(diǎn)描述了對(duì)于有遮擋、復(fù)雜性手勢(shì)的追蹤研究項(xiàng)目。

基于現(xiàn)有Quest中手勢(shì)追蹤效果下，一旦雙手有重疊遮擋，效果就會(huì)大打折扣，而一些復(fù)雜性的手勢(shì)更是難以實(shí)現(xiàn)。

最新的研究采用了Megatrack類似的方式，基于AI可精準(zhǔn)預(yù)測(cè)手部各個(gè)關(guān)節(jié)的姿態(tài)。其中實(shí)現(xiàn)邏輯是，該方法基于虛擬手部模型，而非手部骨骼框架，好處是可以模擬手部的形狀變化，另整體追蹤效果更為逼真。

不過(guò)，這仍然是一項(xiàng)前瞻性的研究，距離商用還很遠(yuǎn)。研究中，F(xiàn)RL采用124個(gè)攝像頭，以及Intel E5-2698 Xeon處理器和NVIDIA Tesla V100專用顯卡，對(duì)性能要求極高。

至于應(yīng)用場(chǎng)景，這項(xiàng)技術(shù)可應(yīng)用到AR、VR，甚至在電影CGI角色、醫(yī)學(xué)模擬等等領(lǐng)域。