從收購Oculus VR至今，F(xiàn)acebook已經(jīng)走過7年。這一路走來，公司將VR“游戲世界”擴容為“虛擬世界”，用“元宇宙”的名號叫出響來，并將Meta扶持為公司大icon，力證7年之路，若非暗癢，則為裂動。觸覺手套落眼于2030年，旨在解決元宇宙的核心挑戰(zhàn)之一：我們將如何接觸虛擬世界？
從今年3月開始，Meta(原名Facebook)的現(xiàn)實實驗室 (RL) 就開始了觸覺感知手套的新項目，直到昨天，Meta正式推出觸覺感知手套，并分享了關(guān)于軟體機器人、微流控處理器、手部跟蹤、觸覺渲染和感知科學(xué)方面的工作進展。
這款吊足了8個月胃口的觸覺手套到底什么樣？是否如他們所說，“這將是2030年的人與世界無接觸式交互的未來技術(shù)”？
Meta表示，目前這款手套可以在虛擬世界中再現(xiàn)現(xiàn)實生活中的一系列觸覺感覺，包括模擬人手撫摸材質(zhì)紋理的感覺、壓力反饋以及振動反饋。
在展示圖中，可以看到這個手套設(shè)置了4道氣囊墊，每道約有15個，沿手指呈脊狀分布。背部有白色的傳感器，可追蹤手指在空間中的移動情況。并且手套內(nèi)外兩側(cè)也設(shè)置了多根傳感器，可動態(tài)捕捉佩戴者的手指彎曲狀態(tài)。
當戴上手套進入VR或AR體驗時，一個復(fù)雜的控制系統(tǒng)會調(diào)整氣囊的充氣水平，在手上的不同部位產(chǎn)生不同的壓力。比如，如果你用指尖觸摸一個虛擬物體，會感到物體壓迫手部皮膚，而如果你握著一個虛擬物體，手指的驅(qū)動器就會變硬，產(chǎn)生一種阻力感。這些感覺與視覺和聽覺感知共同作用，從而產(chǎn)生身體與虛擬物體接觸的“錯覺”。
究其根本，這項技術(shù)到底新奇在何處？作為元宇宙的“頭號玩家”，Meta的技術(shù)與其他玩家有何不同？
如何增強人與虛擬世界的聯(lián)系？
Reality Labs 的負責(zé)人Sean Keller 說，他們一直在推進關(guān)于AR/VR 交互和感知輸入輸出的研究，為下一個計算時代構(gòu)建傳播界面：即推動跨觸覺、肌電圖輸入、軟機器人、設(shè)計、感知科學(xué)、應(yīng)用機器學(xué)習(xí)等領(lǐng)域的研究。
自2014年收購Oculus VR公司以來，7年時間里，Meta的現(xiàn)實實驗室(Reality Labs)一直在開發(fā)虛擬游戲環(huán)境，同時也在開發(fā)更加適配游戲環(huán)境的可穿戴設(shè)備。
最初是在Quest 上建立手部追蹤，從而操縱虛擬物體，但在實際體驗中并沒有建立手部感覺。
在 2015 年，實驗室又開發(fā)了第一個觸覺原型：一根帶有執(zhí)行器的手指，但劣勢明顯，缺少整體的手部感知。
在今年3月，實驗室又推出手腕腕帶，通過手部肌電(electromyography, EMG)傳感器平移電機神經(jīng)信號，將手腕到手的動作指令轉(zhuǎn)化為數(shù)字指令，從而動態(tài)化地適應(yīng)虛擬環(huán)境。這項技術(shù)大大推進了感知輸入的研究進程，但在感知交互上，腕部感知也對更加系統(tǒng)的“抓”、“握”等力度感知繞道而走。
而且，從眾多進場的玩家來看，模擬觸摸并非新研究，比如將 VR 與控制器振動結(jié)合起來，也能讓人們感覺像在觸摸物體。許多公司都在研究可穿戴設(shè)備，既可以跟蹤用戶手部動作，也可以提供觸覺，比如溫度感知。但這并不是Meta現(xiàn)實實驗室的首要目標。
隨著眾玩家的介入，非核心技術(shù)一定會在第一時間讓短視玩家的技術(shù)壁壘蕩然無存。能復(fù)刻現(xiàn)實世界的觸覺感知才能掘出一條技術(shù)護城河。
目前觸覺手套解決的就是全方位觸覺感知的問題。
最開始，為了提供逼真的觸感，觸覺手套需要在整個手上安裝數(shù)百個執(zhí)行器（微型電機），以使佩戴者的手部運動與觸摸虛擬物體時協(xié)同。但是過多的的機械執(zhí)行器會產(chǎn)生過多的熱量，既不舒適又太大、太硬、太貴太耗電。
是否可以用柔軟、柔韌的驅(qū)動器代替機械驅(qū)動器？如果驅(qū)動器可以根據(jù)佩戴者的動作改變形狀，就可以假設(shè)執(zhí)行器根本不存在，與手部融為一體。
新技術(shù)就采用了更加新穎的軟體機器人，用微型氣囊取代了笨重的機電組件。這種柔軟、輕便的觸覺手套，最明顯的優(yōu)勢是解決了外部器件過于異化的問題，同時還明顯提高了 AR/VR 中雙向交互問題：幫助計算機準確理解和反映佩戴者的手部動作，并為佩戴者再現(xiàn)一系列復(fù)雜、細微的感覺，例如壓力、紋理和振動來創(chuàng)造用手感受虛擬物體的效果。
為了控制這些新的軟執(zhí)行器，他們正在構(gòu)建世界上第一個高速微流體處理器：手套上的微型微流體芯片，通過告訴閥門何時開關(guān)，從而控制執(zhí)行器的氣流。
現(xiàn)實實驗室的Andrew Stanley說到：“我們和其他微流體研究的不同之處在于，我們強調(diào)一切都非常輕巧、可穿戴和響應(yīng)快速，在手上創(chuàng)造可信的觸覺，讓虛擬世界變得“有形”?！?/p>
即使有一種控制氣流的方法，系統(tǒng)也需要知道何時何地提供正確的感覺。這需要先進的手部跟蹤技術(shù)，使計算機能夠準確地知道手部在虛擬場景中的位置，人是否與虛擬對象接觸，以及手如何與對象交互。
因此，還需要一款為 AR/VR 界面構(gòu)建觸覺渲染的軟件，可以根據(jù)手的位置和對虛擬環(huán)境的理解，幾乎實時地向手套上的執(zhí)行器發(fā)送指令，包括紋理、重量和剛度等。
RL 軟件工程師 Forrest Smith 說，“人們通常將‘渲染’視為視覺效果，我們還使用‘渲染’來表示觸覺：首先獲取人與虛擬世界的交互狀態(tài)，并將其渲染到執(zhí)行器，從而獲得相應(yīng)的感覺。然后為了渲染與對象的實時交互，還需要模擬相應(yīng)的物理狀態(tài)?！?/p>
強化學(xué)習(xí)研究工程師Justin Clark 指出：一個物理引擎（用于視頻游戲中模擬對象的交互軟件）決定了手與虛擬環(huán)境交互的方向，幅度，力度。然后，觸覺渲染算法將此信息與觸覺設(shè)備的特性（例如其各個執(zhí)行器的位置和屬性）相結(jié)合，以便向設(shè)備發(fā)送正確的指令。
軟件工程師 Andrew Doxon 補充道：“其中一個挑戰(zhàn)是構(gòu)建適用于不同類型執(zhí)行器并支持各種觸覺體驗的軟件。最終，我們還需要構(gòu)建工具，讓人們能夠像創(chuàng)建視覺或音頻內(nèi)容一樣創(chuàng)建觸覺內(nèi)容。”
隨著工作的進行，第三個挑戰(zhàn)出現(xiàn)了：為了使紋理和感覺發(fā)揮作用，他們必須以模仿現(xiàn)實的方式模擬觸摸物理，但不能完全重新創(chuàng)建現(xiàn)實世界的物理學(xué)。
因此，他們想到多感官整合：研究人類感官如何協(xié)同工作，從而建立我們對世界的整體理解。
UX 研究科學(xué)經(jīng)理 Sophie Kim 曾說到，“我們的大腦非常擅長接收一點觸覺信號、一點視覺信號、一點聽覺信號，然后將它們?nèi)诤显谝黄穑纬扇轿坏母杏X，并使你的大腦確信有一個物體在你手上?！?/p>
RL 感知研究科學(xué)家 Jess Hartcher-O'Brien說到：如果我拿起一個物體，我已經(jīng)對它的材料類型以及重量有了一些假設(shè)，然后我抓拿起它，觸覺系統(tǒng)會驗證這是什么材料，大腦會識別摩擦力和慣性；視覺系統(tǒng)會根據(jù)我手臂移動的方式，計算出這個物體的密度或重量。最終這些線索會綜合起來，形成關(guān)于這個物體的本體感覺。
這種思路套用在觸覺手套上，就是讓佩戴者的感知系統(tǒng)相信它正在感受物體的重量，通過用致動器輕輕拉動佩戴者手指的皮膚來模擬握持物體上的重力、拉力。但這一切都必須計算準確。
隨著程序的成熟，手套舒適度就要提上日程。如何將傳感器和機器人執(zhí)行器集成到手套本身材料中，其實是個非常大的挑戰(zhàn)。
比如，一副僵硬、沉重或其他不舒服的手套，或者一個很容易脫落的手套，會立即把佩戴者打出沉浸式體驗。因此，手套需要重量輕、柔軟且高度耐用。
RL 研究過程工程師 Katherine Healy 說，“矛盾是我們必須將所有的技術(shù)制成縮小版，這樣才能在有限的手套上安裝更多的東西，還要兼具美觀和舒適。”
這項工作涉及到材料科學(xué)的工作。材料小組一開始想到發(fā)明一種新型便宜的聚合物，既可以像塑料和硅膠那樣舒適又可拉伸，又可以在分子水平上定制以產(chǎn)生新功能。這需要全新的制造技術(shù)來將這些新材料變成非常細的纖維，然后縫制成手套。
“但僅導(dǎo)電的紗線并不能滿足人們在 VR 中進行交互所需的所有功能，這就是為什么我們探索如何在同一纖維或織物中構(gòu)建多種功能——包括導(dǎo)電、電容和傳感功能，并制出更纖薄、更耐磨的手套外形，”RL 研究科學(xué)經(jīng)理 Kristy Jost 補充道。
這就是為什么材料小組在探索制造技術(shù)，同時又保證每只手套可定制，以獲得最大的觸覺精度和舒適度。這樣做意味著開發(fā)設(shè)計和制造微型執(zhí)行器的新方法，并創(chuàng)建新的編織和刺繡工藝以將它們精確地嵌入手套中。
“目前，手套可以由熟練的工程師和技術(shù)人員單獨制造，由他們制造子系統(tǒng)作為手套組裝配件，”Healy 說，“這個過程要盡可能使用半自動化工藝，因此還要發(fā)明新的制造工藝。”
“我相信，在即將到來的 AR/VR 和元宇宙人機交互革命中，觸覺將是至關(guān)重要的，”RL 研究科學(xué)經(jīng)理 Nicholas Colonnese 說。
“當我們開始觸覺手套項目時，我們問自己是否可以構(gòu)建一種可大規(guī)模生產(chǎn)、價格合理的消費設(shè)備，讓人們可以在任何地方體驗任何有形的界面，”Healy 說，“我們無法發(fā)明新材料、新傳感器和執(zhí)行器、新的集成方法和系統(tǒng)、新的渲染算法、新的物理引擎，但我們已經(jīng)開辟了一條可行的道路，可以讓我們到達那里?！?/p>
目前，這項觸覺手套還未走出實驗室，團隊還想要弄清楚VR 觸控的真實程度如何。創(chuàng)造下一個人機交互時代的中心 ，觸覺研究，才剛剛開始。
參考鏈接：
https://www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype?scrolla=5eb6d68b7fedc32c19ef33b4
https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/
閩公網(wǎng)安備 35010202001226號
