觸摸心靈-計算機觸覺進展
觸覺技術講座：NormalTouch和TextureTouch
手持式虛擬現實控制器上的高保真3D觸覺形狀渲染
摘要
我們介紹了機械驅動的手持式控制器的研究，通過物理形狀位移來渲染虛擬物體的形狀，使用戶能夠感受與可視化渲染相匹配的3D表面，紋理和力量。我們演示兩個這樣的控制器，NormalTouch和TextureTouch。兩個控制器都用6個自由度進行跟蹤，並向用戶的手指產生空間註冊的觸覺反饋。 NormalTouch觸覺渲染物體表面，並使用可傾斜和可拉伸的平台形式提供力反饋。 TextureTouch渲染虛擬物體的形狀，包括詳細的表面結構，通過一個4×4矩陣的驅動引腳。通過在空間上移動我們的控制器，同時保持他們的手指在驅動平台上，用戶通過認知整合輸出感覺隨著時間的推移，獲得了更大的3D形狀的印象。我們的評估將我們的控制器的有效性與虛擬現實控制器中的兩個實際標準相比較：設備振動和視覺反饋。我們發現，觸覺反饋顯著提高了VR交互的準確性，最有效的方法是像我們的控制器那樣呈現高保真的形狀輸出。參與者通常還會發現NormalTouch和TextureTouch在傳達各種3D對象的觸感方面是現實的。
介紹
當前設備呈現有意義的成像的能力遠遠落後於呈現高度真實的視覺或音頻內容的能力。實際上，商品設備上的觸覺輸出事實上的標準是振動觸覺反饋（例如，內置於移動設備和遊戲控制器中）。雖然這些振動觸覺致動器非常小巧，卻通過改變振動的持續時間和強度產生觸覺感受。這使得它們非常適合於用戶界面的通知，但是在傳達形狀，力量或表面結構方面卻相當有限。
在虛擬現實（VR）中，通過致動手套，外骨骼或固定式機器人手臂已經廣泛探索了高保真觸覺渲染顫音觸覺反饋。雖然這些解決方案提供了更豐富的觸覺渲染，但它們限制了使用的便利性，因為它們要麼將用戶限制在一個小的工作區域，要麼要求用戶戴上額外的齒輪。
結果，手持控制器（不是手套或外殼）已經成為當前VR設備和應用（例如Oculus Rift，HTC Vive和Sony PlayStation VR）的主要交互界面。然而，這些VR控制器提供的觸覺反饋是振動觸覺的，就像行動電話和常規遊戲控制器一樣。
在本文中，我們將探索手持式控制器上的觸覺三維形狀輸出，使用戶能夠感受形狀，表面，力和表面紋理。我們提出了兩種新穎的設備，Nor-malTouch和TextureTouch，每種都使用不同的驅動方法來渲染觸覺3D形狀輸出。如圖1c所示，NormalTouch渲染物體的3D表面，並使用主動可傾斜和可消耗的平台（用戶將手指放在該平台上）向觸摸輸入提供力反饋。 TexTureTouch（圖1d）在用戶的指尖下面放置了一個4×4矩陣的驅動引腳，可以單獨呈現虛擬物體的3D形狀，包括表面紋理的粗糙結構。雖然我們選擇VR作為集成我們控制器的沉浸式環境，但它們同樣適用於其他場景（如視頻遊戲，3D建模應用，遙控操作或增強現實）中的觸覺輸出。
與以前的方法相比，我們的控制器將形狀輸出集成到輕量級跟蹤手持式表單因子中，如圖1a所示。控制器重量輕，能夠在更大的環境中以3D方式跟蹤它們，使用戶能夠隨著時間的推移自由地移動控制器並在心理上整合輸出感覺，從而獲得更大形狀的感覺。我們認為，這種觸覺三維形狀輸出，可移動性和3D跟蹤的組合產生了比其他方法更高保真度的沉浸在虛擬場景中。通過使用我們的控制器，用戶可以通過手指（圖1b）感知虛擬物體和周圍的表面，從而以視覺的方式探索3D場景。用戶可以用手握住控制器，用食指或拇指舒適地探索觸覺輸出。
下面我們描述觸覺渲染能力的觸覺3D形狀輸出控制器的實現和設計，以及它們對虛擬環境中交互的影響。最後，我們報告了我們的三部分評估的結果，比較我們的控制器與vi-brotactile反饋和僅有視覺的基線條件。我們發現的結果表明，使用觸覺反饋的用戶可以更準確地感知虛擬物體，從而增強他們在虛擬3D場景中對形狀的感知。
我們的論文提出以下四點具體貢獻：
1.NormalTouch，一種手持控制器，通過一個主動的可傾斜和可擠壓的平台使觸覺呈現，並感應用戶觸摸時的力輸入。
2.TextureTouch，一種手持式控制器，通過4×4陣列的驅動引腳渲染3D表面結構。
3.將形狀控制器集成到VR系統中，以及一系列解決交互挑戰的方法，比如對象滲透和動態對象行為。
4.用戶研究將我們的兩個控制器與僅有視覺和振動觸覺反饋基線進行比較，顯示了觸覺反饋的準確性和保真度。
相關工作
觸覺解決方案種類繁多，每種解決方案都有其獨特的優勢和局限性。我們重點回顧了在VR，可穿戴和移動觸覺以及觸覺陣列顯示器中向用戶提供反饋的觸覺設備的相關工作。
手在虛擬現實中的觸覺
我們的研究與許多其他手觸覺VR設備共享相同的主要目標：有效地呈現用戶的手和虛擬場景之間的碰撞，形狀和力量。
正如在引言中所討論的那樣，手觸覺反饋最廣泛的形式是振動觸覺驅動。最常見的振動觸覺致動器（包括音圈，偏心重鎚和螺線管）通常集成到手持控制器（如HTC Vive，PlayStation Move和任天堂Wii控制器），手寫筆]或手套。例如，商業上可用的CyberTouch手套使用放置在每個指尖以及手掌上的6個振動馬達，以向手提供模擬的觸覺感覺。雖然最常用於簡單的觸摸通知，振動觸覺致動器已經被用來渲染一維力的幻覺，並已發現在虛擬環境中呈現不同的表面僵硬效果。在我們的實驗中，我們使用振動觸覺驅動作為基本技術來對比我們的形狀渲染觸覺致動器。
虛擬現實技術通過鉸鏈臂（例如，PHANTOM [25]，觸覺掌握，虛擬現實6D ，獵鷹，耍蛇者）在虛擬現實中呈現更大的力量和碰撞。最近，TouchMover 2.0將一個機器人手臂執行器與一個觸摸顯示器結合在一起，它能夠在一個維度上同時渲染大的力量，並通過安裝在顯示器上的兩個音圈來反饋觸覺紋理反饋。雖然這種設備以相對較高的保真度來提供力量和碰撞，但它們犧牲了移動性，並提供了非常有限的操作空間。特別是帶有物理接地參考的觸覺臂，如PHANToM設備，非常適合於用戶靜止的機器人或遠程手術的遠程操作。大部隊也可以通過使用手套為基礎的外骨骼手。 CyberGrasp手套使用五根肌腱促動器，通過外骨骼向指尖傳遞，為每個手指增加抵抗力，防止用戶的手指穿透虛擬物體。羅格斯大師II-ND是一種觸覺手套，它使用手掌和手指之間的氣動致動器，使指尖獲得較大的抓握力。
我們的NormalTouch設備最接近木偶，當用戶像滑鼠一樣移動設備時，它使用傾斜平台在四個指尖下面傳送表面正常。與Marionette相比，我們的工作重點放在VR場景中的手持式3D交互。我們受到傾斜平台在指尖下傳送表面正常的有效性的啟發。
與主動啟動的觸覺設備相反，被動觸覺也可以用於在VR中提供高度真實的觸覺感覺。採用被動觸覺技術，是一種獨立的實體代理對象可以為渲染的虛擬對象提供適當的觸覺。例如，Azmandian等人[3]最近演示了如何重定向一個用戶重用同一個被動物理代理的多個虛擬對象。
可穿戴和移動觸覺
在觸覺文獻中，人們很好地理解，當握住或探索一個物體的形狀時，手所經受的刺激同時具有動覺和皮膚成分。動覺反饋需要較大的致動力，並向使用者提供關於他們身體部位（例如關節）的相對位置的信息。皮膚中的壓力感受器可以感受到皮膚的信息，是接觸力的方向和強度以及質地的直接測量。
除了之前提到的外骨骼手套之外，文獻中的大多數可穿戴式觸覺致動器集中於呈現皮膚刺激。 Prattichizzo等人提供了一種可穿戴的觸覺裝置，其使用能夠在指尖處呈現皮膚力的三弦致動平台。 Choi等人開發了一種基於介電彈性體的可磨損盲文顯示器的觸覺致動器，該彈性體可以在柔性襯底上製造並纏繞在指尖上。同樣，布魯斯特（Brewster）和布朗（Brown）製作了小型可穿戴的「Tactons」，能夠通過盲文般的微型針腳渲染非視覺信息。貝拉斯克斯（Velasquez）等人提供針對盲人群的類似觸覺技術的全面調查。相比之下，我們的設備是不可穿戴的，但手持在6DOF跟蹤，並能夠提供kinesthetic和皮膚反饋。
移動設備外形因素也已經探索了皮膚反饋。 Luk等人基於側向皮膚拉伸的概念提出了一個手持觸覺顯示平台。 Hem-mert等人應用概念移動設備中的形狀改變和重量轉移，以在與設備交互期間傳達方向感。
UltraHaptics展示了另一種相關的技術，用於在空中提供手部超聲波觸覺，而無需用戶握住設備。雖然有前途的技術，創造的感覺是微妙的，工作區域是非常有限的。
觸覺陣列顯示器
我們的TextureTouch器件建立在豐富的觸覺陣列顯示器的歷史上，這些顯示器使用一系列機電致動的引腳/棒來呈現密集的觸覺表面。例如，埃克塞特觸摸陣列使用壓電致動器在指尖下1.5厘米的正方形區域移動100個小引腳。流明設備使用一個粗糙的13x13陣列的照明棒探索按需UI元素。 inFORM 探討了當使用30x30驅動的「像素」覆蓋大約15平方英寸的區域的更大的觸覺陣列顯示器時的形狀和物體驅動的可供性。最近，Jang等人使用了一個集成在概念智能手機邊緣的單維驅動觸覺陣列來傳達觸覺通知。
最接近我們的紋理觸摸是在觸控筆上安裝觸覺陣列顯示器的解決方案。例如，UbiPen 在手寫筆上有觸感陣列，除了在平板電腦上使用筆時的振動觸覺反饋以外，還添加了質感。 Kim at al。將一個類似的手寫筆附加到一個PHANToM設備上進行觸診模擬應用[20]。與此相反，使用TextureTouch，我們在更為自由的VR場景中探索了交互功能，其中觸覺陣列集成在高度可移動的3D跟蹤手持控制器中。
3D形狀輸出的手持式控制器
我們的觸覺控制器的設計目標是在虛擬環境中無縫使用。因此，它們滿足三個要求：1）以手持形式提供3D形狀輸出; 2）緊湊和輕便的形狀因子，以促進空中無人操作;以及3）提供人造力量為皮膚（即，手指表面上的觸覺感覺）和運動感覺反饋（致動和移動手指的感覺）呈現3D形狀。
我們確定了兩個有前景的技術來實現這些目標：傾斜平台和觸覺陣列。儘管傾斜平台可以更好地渲染表面法線並且實現起來更簡單，但是觸覺陣列使得使用單個引腳的特徵比使用者的手指更小。通過圖2所示原型的迭代設計過程，我們實現了兩個功能齊全的原型控制器，每個原型控制器圍繞著這兩種核心技術之一而構建。表1總結了我們兩個觸覺形狀控制器的主要屬性：NormalTouch和Tex-tureTouch。為了便於說明，我們假定用戶將他們的手指和控制器移動到具有各種3D對象的虛擬場景中。在虛擬環境中，用戶的手由具有匹配的3D位置和3D方向的3D手模型表示。
NormalTouch：3D可傾斜和可擠出平台
如圖3所示，NormalTouch的核心是一個由三個伺服電機驅動的乙縮醛（Delrin）平台。 磁碟內的力感測器檢測一系列力的觸摸輸入。 控制器的手柄包含所有電子設備，包括電機控制器。 安裝在電機周圍的小反光球用作標記，以便用周圍的相機跟蹤3D中的NormalTouch。
當在虛擬場景中移動並與場景中的虛擬對象接觸時，NormalTouch將複製這些對象的曲面法線。 NormalTouch的默認狀態是一個完全縮回的平台。 一旦用戶與虛擬物體接觸，NormalTouch將其平台傾斜到物體表面的相對3D定向，並根據用戶在物理空間中的控制器的移動來展示平台。 這使得用戶的手指保持在虛擬對象邊界之外的相同的3D位置，該虛擬對象的邊界被註冊在物理空間中，如圖4所示。
NormalTouch的核心部件是傳遞平台機械三維自由度的三個伺服電機。如圖3b所示，我們使用三台安裝在三自由度Stewart平台上的Hitec HS-5035HD納米伺服系統。舵機通過旋轉接頭與舵機的控制臂連接，通過小型剛性連桿機構連接到平台下的球窩接頭。剛性連桿在運動中受到限制，總是垂直於伺服軸。這允許由三個伺服機構傳遞的三個自由度機械地變換成手指墊的偏航角和俯仰角加上沿著滾動軸（朝向和遠離使用者）的線性移動。所有部件均採用CAD設計，主要採用Delrin塑料進行激光切割。我們配置的一個優點是與其他實現相比，整個3D機制佔用了最小的體積。
為了控制舵機，我們將現成的多伺服USB控制器（Pololu.com Mini Maestro-12）集成到3D列印控制器手柄中。 NormalTouch在平均使用中繪製375mA（峰值電流為620 mA）。當我們的設備外置了3000mAh LiPo可充電電池進行無線操作時，電池續航時間可達8小時。控制器還檢測模擬電壓，在我們的情況下檢測力。
力感應
NormalTouch使用一個現成的力感測器（Interlink Electronics FSR-402）在一個末端執行器中檢測力輸入。我們選擇這種實現方式而不是感應電機電流，因為後者會導致齒輪和軸承的摩擦。力感測器是一個13毫米的磁碟使用力感應電阻材料與電極，檢測力在0.2-20 N之間，這是適合我們使用。
該感測器被配置為使得在施加的力水平小於0.2N時，感測器中的兩個電極中的一個不與FSR材料接觸，並且導致無限大的電阻和ADC的電壓，使我們能夠可靠地檢測力矩在此期間不存在觸摸。施加在感測器上的一個小的力（?0.2 N）導致電極連接和可靠的力讀數。
為了克服這種初始的非線性和增加低的力敏感性，平台由兩個獨立的Delrin切割層組成（圖5）。在頂層，手指觸摸我們為手指放置添加的平滑凹陷。 平台盤的邊界被切割成部分三腳螺旋彈簧，以允許在容納在底盤中的力感測器上進行可調節且兼容的預載入。
TextureTouch：3D像素形狀輸出
如圖6所示，TextureTouch包裝一個4x4驅動的針陣列，作為觸覺渲染3D的主要方法形狀和結構到用戶的手指上。所有的電子設備都連接在設備的側面。與Nor-malTouch類似，安裝在基座上的小型反光球可作為在3D空間中跟蹤控制器的標記。
TextureTouch在使用過程中的行為與NormalTouch類似，只不過這次有16條虛擬探針線檢測到與場景中虛擬對象的表面接觸，如圖7所示。這種單獨的探測使TextureTouch能夠檢測細粒度的表面結構，並將其傳遞給用戶可以感受到單個針腳的感覺。與NormalTouch類似，當用戶的手指在外面的所有虛擬物體，TextureTouch陣列中的所有引腳都完全縮回，手指平放在平台上。
TextureTouch包含16個4×4配置的線性驅動相鄰引腳。 每個引腳由一個小型伺服電機（HiTec HS-5035HD）單獨驅動。 我們使用齒輪齒條機構將舵機的旋轉輸出轉換為線性行程。 如圖8所示，一個額外的齒條齒輪副可以將運動轉向成直角，以獲得最佳的配置和最小的體積。一個Pololu Mini Maestro-24伺服控制器將從虛擬現實系統 到每個伺服電機。 TextureTouch在平均使用中繪製800mA（1.5A峰值）。
將虛擬控制器集成到VR中
觸覺形狀渲染在模擬3D環境中的基本概念是一個很好理解的主題。原則上，我們可以確定觸覺代理對象（在我們的情況下是3D指尖）與場景中的3D虛擬對象的碰撞，計算合成力，並且在觸覺設備上呈現相等和相反的力。如果智能設備是靜止的並且能夠向使用者施加足夠的力以防止使用者進一步移動（否則設備簡單地放棄），這可以很好地工作。
然而，手持設備上的觸覺形狀渲染更複雜，因為平台和激勵點都是由同一隻手移動和保持的。因此，我們的控制器在使用者的指尖上施加的任何力量將不可避免地感覺到持有控制器的手柄的其餘手掌。然而，在實踐中，指尖對動覺和皮膚力的敏感性遠高於手其餘部分的靈敏度，使得動作體驗令人信服。請參閱我們上次的實驗，評估渲染保真度。
在最基本的操作中，NormalTouch和TexTureTouch都以相同的原理操作。當跟蹤的控制器穿透虛擬物體的表面時，控制器的關節點延伸以補償穿透，從而使表面接觸（圖4和圖7）。 NormalTouch有一個單一的擴展平台，我們另外定位平台在碰撞點傳遞表面法線。 TextureTouch單獨針對其16個引腳中的每一個形成該計算。
為了通過視覺反饋來進一步支持觸覺，我們在觸摸虛擬物體時向虛擬手指的關節發齣動畫，以向用戶發出發生碰撞的信號（圖9）。
處理表面滲透
由於我們的設備沒有物理接地參考，所以不可能防止用戶用他們的控制器手穿透場景中的虛擬物體。 當其執行器的動態範圍耗盡並且指尖穿透表面時，設備如何表現可以對經驗的質量產生顯著的影響。
我們故意選擇在完全滲透時保持平台完全伸展（圖10）。雖然這並沒有給用戶一個明確的信號，表明他們已經滲透到表面，但是卻呈現出更加一致的行為。或者，在穿透（即，呈現0N力）時重新牽引平台經常導致不期望的行為。對此的解釋是，大多數情況下，滲透不是打算的，用戶將糾正他們的行為並將他們的手縮回到表面。這會在平台的全面擴展和不擴展之間產生強烈的震蕩，這是非常混亂和不可取的。
滲透補償
在我們的試點評估中，我們注意到與虛擬物體的滲透幾乎不是一個理想的目標。在大多數情況下，用戶想要觸摸對象，並穿透它「打破」了經驗。為了防止這種情況發生，我們實施了一種穿透補償技術，可以有效地將控制器的實際位置（由OptiTrack跟蹤器報告）和手的虛擬位置（圖11）解耦。
穿透補償可以沿著設備的垂直軸線動態偏移指尖（和手），從而有效地將手指保持在虛擬對象的表面上，而不管它穿透的深度如何。在實踐中，我們將穿透補償限制在20厘米的距離，並且使得深度平滑。這使得移動手並探測物體表面相對容易。平台一旦達到其動態範圍的75％，我們就應用穿透補償，而不是等待完全伸展，以確保有一定的動態範圍，足以使高度和正常的表面變化（圖11）。
VR應用場景
我們所有的觸覺和視覺渲染都是在Unity遊戲引擎（版本5.3.2）中進行的。我們使用了Oculus Rift DK2頭戴式顯示器，並通過自己的Oculus攝像頭進行跟蹤。每個手持設備都配有一個獨特的反游標記群（圖2），並通過OptiTrack V120：Trio跟蹤系統（optitrack.com）進行跟蹤。我們的OptiTrack系統經過校準，可以在與Oculus Rift相同的坐標系統中進行報告，並且所有組件都被嚴格安裝，無需重新校準。
OptiTrack系統被配置為報告每個設備的平台中心的姿態（對於Nor-malTouch來說包括用於手指休息的降低的區域）。 OptiTrack報告我們的控制器的平均跟蹤誤差小於1mm（在使用期間距離攝像機約1m）。我們指示參與者將他們的手指墊擱置在平台中心，並且相應地渲染3D VR手（當平台移動時，虛擬指尖也移動）。雖然目前還沒有實現，但是可以追蹤平台上指尖的位置以獲得額外的精度（例如，使用簡單的3×3電容式觸摸陣列）。
我們實施了幾個VR場景來測試設備的有效性。我們探索了渲染各種剛性和可變形的3D對象，如簡單的形狀，以及汽車，動物等的3D模型（圖1d和圖12a）。我們還嘗試了剛體物理模擬（圖12b）。在這種情況下，用戶可以在NormalTouch設備上使用力覺和反饋來在桌面上輕彈球。
評估
我們進行了三部分的用戶評估，以確定我們的3D形狀輸出原型在多大程度上增加了用戶在虛擬現實環境中的逼真度。我們將兩個原型Tex-tureTouch和NormalTouch的性能與兩個基準介面進行了比較：一個帶有僅振動輸出的控制器和一個沒有觸覺反饋的可視化情況。
為了評估使用每個控制器的觸覺形狀渲染的保真度，參與者完成了兩種類型的定位任務：指向和追蹤任務[39]。這兩個任務都評估參與者如何準確地將視覺刺激與觸覺感覺相匹配，從而有多少觸覺3D形狀輸出幫助他們與虛擬3D對象進行交互。在第三個任務中，參與者使用每個控制器探索虛擬對象的形狀，以評估每個介面提供的觸覺形狀的逼真度。
介面
圖13所示的兩個設備用於完成任務，我們測試了四個介面：NormalTouch，TexTureTouch，VibroTactile和VisualOnly。為了確保所有四個介面的可兼容性，我們修改了一個NormalTouch設備，並增加了五層丙烯酸材料，以便與TextureTouch設備的重量，平衡和形狀完全匹配（參見圖13）。為了啟用VibroTactile界面，我們進一步修改了NormalTouch設備，並將從Xbox控制器提取的振動電機合併在一起。總之，這個NormalTouch變種作為三個介面的設備：NormalTouch，VibroTactile和VisualOnly。
TextureTouch和NormalTouch都是根據用戶的手指在虛擬環境中的位置來渲染虛擬對象的三維形狀。當參與者的手指的底部在表面的+/- 2mm範圍內時，振動觸覺介面激活振動電機，這與遊戲控制器（例如，具有Xbox One控制器的Forza賽車遊戲）中的觸覺振動反饋類似。這種簡單的振動方案（與表面接觸時振動）被選為一個很好的基線，因為它是當前消費者VR控制器（例如，HTC Vive）廣泛部署的行為。
在VisualOnly中，除了看到它們的翅膀穿透物體的表面之外，該系統沒有提供任何觸覺輸出或附加的視覺反饋。 最後，在Vi-broTactile和VisualOnly上，參與者使用了一個帶完全縮回平台的NormalTouch控制器。
對於所有界面，參與者都穿著Oculus Rift DK2頭戴式耳機，在虛擬空間中看到虛擬物體和他們的手的表現形式。 與會者站在所有的試驗中，將控制器放在他們前面的空間旁邊，如圖14所示，並將頭部始終保持在同一位置。
任務
定位精度任務：在這個任務中，參與者被反覆提出三個目標類型之一，如圖15所示。對於每個目標類型，對象頂部的十字線突出顯示目標。三種目標類型包括（a）比用戶的手指小，（b）在手指的尺寸內，以及（c）比手指大得多的虛擬對象中的特徵。為了開始試驗，參與者以佔優勢的手抓住控制器，將其放在一個虛擬的「偏離空間」中，用一個非主導手按下一個演示器上的按鈕。這觸發了虛擬物體和十字線的目標出現。然後參與者將控制器以及他們的手指準確地定位在VR中以獲取目標並按壓發聲器來確認完成試驗的位置。
我們在每次試驗中記錄參與者的三維手指位置以及他們的時間戳，控制器的方向以及他們的頭部位置和方向。我們還記錄了每個試驗的持續時間，從點擊空間直到收購目標。
追蹤精確度任務：在這項任務中，參與者用指尖追蹤3D路徑儘可能準確。 追蹤路徑包括兩條直線和兩條曲線，一次在參與者面前呈平坦狀，一次以35°角旋轉（圖16）。 參與者開始每個試驗，拿著一個控制器在他們的優勢手中，移動到綠色的圓錐體，這表明一個路徑的開始，並按下咔嗒聲。 然後參與者追蹤到紅色球體的路徑並按下喀噠聲器來完成任務。
與第一項任務類似，我們在每次試驗中記錄了所有加時間戳的3D手指位置以及控制器和參與者頭部位置和方向的方向。 我們還記錄了每次嘗試之間按路徑的開始和結束點擊器之間的持續時間。
保真度評估任務：在這個任務中，參與者按下發聲器，看到圖17所示的每一個高質量的3D模型，並通過在標記為紅色的區域中圍繞控制器移動來探測它們的形狀和表面。我們將每個試驗的時間限制在20秒，以便比較參與者在每個界面中渲染質量和逼真度的印象。在完成每個定位和追蹤任務後，參與者口頭評價觸覺渲染在5點李克特量表上與虛擬對象的視覺印象相匹配，從1（不匹配）到5（精確匹配）。我們還記錄了每個參與者的口頭評論。對於這個任務，參與者沒有使用VisualOnly介面，因為它顯然沒有預先發送任何觸覺渲染。
程序
在研究之前，實驗者向每個參與者解釋了我們的高保真觸覺輸出控制器的目的，並在靜態虛擬現實環境中演示了四個介面中的每一個。然後參加者戴上Oculus Rift頭戴式耳機，並通過使用每個觸覺介面的靜態場景來熟悉我們的控制器以及基線介面。然後，參與者進行一系列瞄準和跟蹤任務以進行培訓。平均來說，每位參與者的培訓時間為15分鐘。
每個參與者使用每個介面（8×2×4 = 64次試驗），使用四個介面（3×10×4 = 120次試驗）中的每一次和全部8次重複使用8次跟蹤任務完成全部三個目標任務。試驗被隨機分配到各個參與者以解釋序列效應。在平均年齡段，參與者在50分鐘內完成了實驗。
參與者
我們招募了12位右撇子參與者（4位女性），年齡在24-56歲之間。 6名參與者從未嘗試任何VR系統，5名參與者曾經嘗試使用VR頭戴式耳機，1名參與者每周使用HTC Vive。參加者收到一小筆酬金。
假設
我們假設，觸覺反饋將增加感知虛擬物體的保真度水平，導致：
H1。與VisualOnly反饋相比，觸覺反饋可以實現更精確的定位和跟蹤。
H2。 NormalTouch和TextureTouch允許以比VibroTactile更高的準確性進行定位，因為它們以更高的逼真度渲染3D形狀，從而促進精確的觸摸。
H3。 TextureTouch總體上產生最低的誤差，因為它在參與者的手指上呈現結構，而不僅僅是表面法線。
H4。參與者在VisualOnly條件下完成最快的試驗，因為視覺以外的任何暗示都需要認知注意力和時間來處理。
結果
靶向精確度任務：我們針對參與者完成的試驗中的十字線靶標的平均誤差距離進行了單向重複測量ANOVA作為隨機變數。我們發現α= .05的誤差距離（F3,9 = 11.284，p
我們現在將誤差距離分解成目標平面的誤差（x / y誤差）和來自平面的誤差（z誤差）。雖然我們無法找到界面對平均x / y誤差的顯著主效應（圖18b），但我們發現對平均z誤差有顯著影響（F3,9 = 24.596，p
圖18b中的紅條顯示了使用四種類型的反饋中的每一種進行可靠的目標採集建模輸入傳播所需的最小目標大小。雖然我們無法找到介面對最小目標尺寸的顯著主效應，但是我們看到提供觸覺反饋的介面的最小目標尺寸傾向於低於VisualOnly反饋的最小尺寸。
鑒於TextureTouch具有與其他三個界面不同的渲染功能的空間組件，一個功能可能已經在控制器上呈現，並且被參與者觸覺注意到，即使他們的手指沒有完全對準虛擬目標。圖18b中的藍色虛線表示在此考慮下，輸入誤差在1mm以下的下降。同樣，紅色虛線表示1.3mm的最小可靠目標的傳播。
我們也在平均完成時間上進行了單因素方差分析，發現了顯著的主效應（F3.9 = 9.586，p
追蹤的準確性任務：對於所有參與者的追蹤試驗，我們為他們的蹤跡上的每個點計算目標跡線上的最近點在綠色錐體和紅色球體之間的所有數據點。平均誤差距離的單因素方差分析發現界面的顯著主效應（F3,9 = 27.729，p
將其分解到跟蹤平面中的誤差，誤差距離上的單向ANOVA發現顯著的主效應（F3,9 = 12.154，p
關於z誤差，即到軌跡平面的距離，單因素方差分析發現了顯著的主效應（F3.9 = 16.816，p
我們還對追蹤時間進行了單因素方差分析，發現對界面有顯著的主效應（F3.9 = 12.603，p
保真度評估任務：我們使用Benjamin-Hochberg調整的置信區間進行Wilcoxon秩和檢驗，比較參與者對觸覺保真度評分的結果。參與者對我們每個控制器的評級與VibroTactile的評級顯著不同（均為p
討論
這個實驗支持了我們的第一個假設，即所有的單倍控制器在獲得一個虛擬目標時都提供了準確性的好處。不出所料，對於到地表的距離來說效果是最大的;所有的觸覺界面精確地表示虛擬手指與表面接觸的時刻。這種效果在我們的控制器中與振動觸覺觸覺相比最為明顯，因為它們為虛擬表面提供了動態範圍：參與者不僅感覺到與虛擬物體的接觸，還可以使用控制器的擠出高度來精確定位手指，這支持了我們的第二個假設。
我們發現Nor-malTouch和TextureTouch之間的準確性沒有顯著差異，因此不支持我們的第三個假設;為了使被驅動的平台的中心與虛擬目標對齊，顯然，參與者並沒有從TextureTouch直接渲染手指表面上的特徵而獲益，而他們必須移動Nor-malTouch以「感覺」頂部球體，例如。從圖18b可以看出，目標平面中的手指位置貢獻了大部分整體誤差。
將目標平面中的誤差結果與先前的發現進行比較，我們發現目標誤差在相同的範圍內：圖18b中的紅線表示「可靠按鈕」的最小尺寸（捕獲所有輸入的95％的目標）在7-8毫米的大小，相比之下8.2毫米直徑的最小可靠目標在相關的觸摸研究（當控制手指的偏航，俯仰和側傾角[16]），我們的研究任務鬆散包括在內。這也驗證了我們的測量儀器的質量，因為我們觀察到的平均誤差與傳統2D觸摸板上報告的平均誤差相當。與此同時，這表明，儘管使用了觸覺控制器，瞄準仍然是一個主要的視覺操作，這與對（物理）目標的（手指）觸摸精度的研究相比。
考慮到TextureTouch渲染觸覺功能的解析度要比其他三個界面高得多，人們期望在定位任務期間在TextureTouch上觀察到更低的錯誤，因為觸覺渲染減輕了oc-clusion問題。因此，我們重新分析了輸入數據，以說明TextureTouch將觸覺目標渲染到用戶的手指上的情況，但是本身不是以虛擬目標為中心的。在這些情況下，參與者能夠感受到他們手指上的目標，正如我們在試點研究中所觀察到的，他們經常將手指放在針陣列上。因此，TextureTouch將虛擬目標任務的一部分移動到物理世界中，並在初始彈道階段之後將任務轉換為物理目標任務。假設參與者在平台上移動他們的手指，TextureTouch目前無法跟蹤，平均x / y定位誤差會下降到1mm以下，如圖18b中的藍色虛線所示。與此同時，可靠虛擬目標的最小按鈕尺寸降至1.3毫米。需要進一步的研究，通過額外跟蹤參與者在引腳上的手指位置來確定用於定向任務的TextureTouch的真實精度。
有趣的是，VibroTactile界面在研究中沒有表現出速度 - 精度的折中。與VisualOnly反饋相比，使用VibroTactile觸覺反饋的參與者明顯更快並且更準確，這不支持我們的第四個假設。其中一個原因可能是參與者以視覺為目標，但是一旦他們感受到振動並接觸，就證實了每個試驗。我們假設雖然我們的兩個觸覺控制器提供了類似的反饋，但是參與者花費額外的時間試圖感受目標平面上的特徵。
跟蹤任務的一部分回應了目標任務的發現：參與者使用NormalTouch或TextureTouch更準確地跟蹤路徑，顯示觸覺形狀反饋顯著提高了此任務的準確性並支持H1。有點令人驚訝的是，Vi-broT觸覺反饋對準確的追蹤起反作用，很可能是因為參與者獲得了與對象「接觸」的虛假感覺。實際上，圖19c顯示了VibroTactile誤差的很大一部分源自與飛機的距離。有趣的是，使用TextureTouch的參與者顯然比在視覺條件下更準確，部分支持H2和H3。我們將其歸因於路徑山脊的大小，這可以在單個像素中感覺到，但是在參與者滑過山脊時在NormalTouch中產生了更多的抖動行為。
隨著參與者在視覺條件下完成試驗的速度明顯加快，TextureTouch增加的準確性的代價是速度。只有NormalTouch比較慢，因為參與者試圖精確定位山脊。參與者使用VisualOnly界面的平均速度支持H4。事實上，這個速度並沒有大幅降低準確性，這是由一位與會者的話來解釋的：「為了更加準確，我要確保跟蹤始終通過我的指甲，並保持穩定。」這一觀察，也反映了相關工作的發現，參與者被報告使用手指上的視覺特徵來對準目標，以增加準確性[17]。然而，這種精度的代價是破壞物理真實性，因為用戶的虛擬3D手指偶爾會穿透虛擬物體的固體表面。
忠實任務產生了一些有趣的見解。正如直方圖中顯示的那樣，參與者首選TextureTouch來獲得細節細節的對象，而NormalTouch則用於觸摸具有較大面部的對象，這顯示了兩個控制器的互補特性。另一方面，當參與者探索光滑的表面時，Tex-tureTouch收到較低的評分，因為我們的控制器產生了看似噪音的觸覺信號。有趣的是，嘈雜的驅動是參與者的手部運動，渲染解析度和自然發生的抖動的結果，因為在演算法上，TextureTouch以1：1渲染虛擬形狀而無需額外處理。
與會者經常評論說，即使是NormalTouch也會產生與表面特徵相匹配的表面特徵，例如獅子的鬃毛。有趣的是，儘管事實上控制器在任何給定的時間點只呈現一個狀態，但是通過移動控制器並且因此獲得形狀變化甚至表面結構的變化，參與者似乎隨著時間的推移整合了形狀。參與者對獅子的鬃毛的反應尤為明顯。即使NormalTouch上的平台只是在參與者將手指放在其上時擺動，他們仍然將高水平的渲染保真度歸功於設備，即使是微小的結構。對此的一個解釋是視覺通道可能主宰整體印象;我們期望在紋理中感受到高頻，控制器在表面擦洗時產生高頻。
VibroTactile界面導致參與者的混合評分。一些參與者認為振動是無用的。 P3說：「它不應該振動。一架飛機不振動「，P1告訴我們：」我試圖準確的時候真的很讓人分心，但是設備一直在振動。「其他人則發現這種感覺與之相反。 P4說，「一旦我在表面上，振動就很容易跟隨它」，P2評估說：「我最喜歡振動的振動。它只是覺得它是最有意義的。「P10評論說：」獅子的結構幾乎是太複雜了，因為振動的簡單性，它感覺很奇怪「，認識到有限的振動動態範圍來表示形狀，特別是與其他兩個控制器執行的更高fi-delity相比。
我們選擇的振動行為（與表面接觸時會發生振動）可能會影響用戶的體驗。我們承認，還有許多其他複雜的振動方案是可能的。然而，我們選擇這種簡單的振動行為作為我們的基線，因為它在很多VR控制器中是常見的，並且允許用戶相對精確地定位空間中的表面。我們憑經驗選擇了振動觸覺的+/- 2mm激活閾值，以便能夠精確地找到表面並保持與運動的接觸。我們還嘗試了在虛擬物體內部持續振動，當沿著表面追蹤指尖時，導致更大的誤差和干擾振動的起伏。
值得注意的是，在我們的用戶評測中，我們有意將450g添加到NormalTouch中，以便與TextureTouch進行平衡，並且還匹配其形狀因子，使我們能夠比較觸覺反饋的效果，同時保持條件下的重量和形狀因子相同。如果形式和重量不同，則用戶疲勞和設備可操作性等因素可能在不同設備之間變化，並且參與者可能表現出不同的偏好。
最後，顯而易見的是，我們的控制器在3D中被完全跟蹤使得參與者能夠更全面地探索虛擬物體，包括它們的背部或底部表面。與會者普遍讚賞他們可以探索他們無法直接看到的結構。
限制和未來的工作
雖然我們的實驗結果證實手持控制器上的高保真觸覺技術有明顯的好處，但還有許多工作要做。我們的設備的限制對用戶的觸覺感知有顯著的影響。 Nor-malTouch渲染角度，力量和高度的能力在物理上是有限的。同樣，TextureTouch體積龐大，複雜，引腳解析度和高度有限。我們所有的設備在運行過程中都會發出可聞的噪音。我們將繼續優化我們的設計以改善體驗。
由於我們只在手指墊下面提供觸覺，所以觸覺渲染可能具有令人驚訝的效果，特別是當觸摸邊緣/拐角或旋轉手腕，同時補償穿透。例如，用戶可能期望感受到他們指尖的一面對著虛擬物體，但是目前我們的設備什麼都不渲染。未來的 評估需要更好地了解我們的觸覺與用戶的期望相匹配的程度。
此外，我們還不知道為了令人信服的VR體驗需要多少觸覺保真度。事實上，我們有傳聞證據表明絕對的觸覺準確性可能並不總是必要的。例如，有幾次我們觀察到人們在沒有很好地校準的情況下嘗試我們的設備（例如，NormalTouch會使表面正常的方向比它所支持的方向大不相同）。令我們驚訝的是，人們經常聲稱，如果事實上顯然是錯誤的，那麼這個設計就是精確的。雖然有趣的是，這表明需要進一步評估是否精確地匹配觸覺渲染以使其被認為是現實和高保真度是重要的。
儘管力感測和反饋確實與NormalTouch設備一起工作，但由於在TextureTouch中不可用，所以在研究中沒有進行探索。我們計劃在這兩種設備中使用力感測功能來探測非剛性物體，以及輸入對象，如按鈕和具有非線性觸覺行為（如棘爪）的滑塊。而且，由於VR控制器通常具有諸如按鈕和觸摸板的輸入感測器，我們計劃通過手指墊上的電容感測器陣列將這些添加到NormalTouch和Tex-touchTouch。我們還計劃在觸摸板的周圍進行多個力感測器的實驗，以允許帶有離軸力的靜態手指放置，以傳遞類似於操縱桿的輸入的感測XY矢量。
最後，我們有機會嘗試用不同的材料覆蓋我們設備的驅動區域。特別是，TextureTouch上的柔性薄膜可以在物理上平滑一些粗針解析度造成的噪音。
結論
我們介紹了手持式觸覺形狀輸出設備的調查，該設備為手指提供高保真3D觸覺反饋以用於虛擬環境。我們演示了兩個觸覺形狀輸出設備的實例。 NormalTouch使用可傾斜和可拉伸的平台呈現虛擬物體的3D表面法線。 TextureTouch使用16個獨立的引腳，以4×4網格排列，將細緻的表面細節呈現給用戶的指尖。
隨著虛擬現實技術變得越來越主流，對觸覺解決方案的需求明顯增加，不僅僅是簡單的嗡嗡聲和隆隆聲。我們相信，我們探索的觸覺方向有機會在不久的將來成為標準VR互動辭彙的一部分。
TAG:全球大搜羅 |