UC 伯克利新研究：機器人有了觸覺，一個演算法實現多項精細操作

新聞 03-28

新智元報道

編輯：肖琴

【新智元導讀】加州大學伯克利分校的新研究提出基於觸覺的控制演算法-觸覺MPC，結合定製的觸覺感測器，讓機器人能夠依靠觸覺實現多個控制任務。

打字時用手指盲打，將鑰匙插入鑰匙孔，這些都依賴我們的觸覺。已有研究表明，觸覺對於人類的靈巧操作非常重要。

同樣，對於許多機器人操作任務來說，只有視覺可能是不夠的—— 視覺很難處理微妙的細節問題，如邊緣的精確位置，剪切力度或接觸點處的表面紋理，而且機器人的手臂和手指可能阻擋相機與其目標物之間的視線。然而，用這種至關重要的感官能力來增強機器人，仍然是一項有挑戰性的任務。

我們的目標是提供一個學習如何執行觸覺伺服的框架，這意味著要基於觸覺信息精確地重新定位一個物體。

為了給我們的機器人提供觸覺反饋，我們使用了一個定製的觸覺感測器，其原理與 MIT 開發的 GelSight 感測器類似。感測器由一種可變形的彈性體凝膠組成，有三個彩色 LED 背光，並在凝膠表面提供高解析度 RGB 接觸圖像。與其他感測器相比，這種觸覺感測器以豐富的視覺信息的形式自然地提供幾何信息，從而可以推斷出力等屬性。使用類似感測器的先前工作已經利用這種觸覺感測器來完成諸如學習如何抓取的任務，提高了抓取各種物品的成功率。

下面是一個筆帽在凝膠表面滾動時，感測器的實時輸出：

硬體設置和任務定義

在實驗中，我們使用了一個改進的 3 軸數控路由器，在路由器的末端執行器上安裝了一個面朝下的觸覺感測器。機器人通過改變感測器相對於其工作階段的 X、Y 和 Z 位置來移動，每個軸由一個單獨的步進電機驅動。由於這些電機可以精確控制，我們的設置可以達到約 0.04 毫米的解析度，有助於在精細的操作任務中細緻地移動。

機器人的設置。觸覺感測器安裝在圖像左上角的末端執行器上，面朝下方。

我們通過 3 個代表性的操作任務演示了這一方法：

小球重新定位任務：機器人將一個小金屬球軸承移動到感測器表面的目標位置。這個任務是很困難的，因為粗糙的控制往往會對球軸承施加過大的力，導致其滑動從而遠離了感測器。

模擬搖桿偏轉任務：在玩電子遊戲時，我們經常只依靠觸覺來操縱遊戲控制器上的模擬搖桿。這個任務特別令人感興趣，因為偏轉模擬搖桿通常需要有意斷開和返回接觸，從而創建一個部分可觀測性情況。

模具滾動任務：在這個任務中，機器人將一個 20 面模具從一個面滾到另一個面。在這項任務中，物體從感測器下滑出的風險更大，因此這項任務是三項任務中最難的。另外這個任務的一個優點是，它提供了一個直觀的成功指標 —— 當機器人完成操作時，正確的數字應該正面朝上顯示。

從左到右：小球重新定位，模擬搖桿和模具滾動的任務。

每一個控制任務都是直接在觸覺空間中根據目標圖像指定的；也就是說，機器人的目標是操縱物體，使它們在凝膠表面產生特定的印記。這些目標觸覺圖像可以比諸如物體的 3D 姿勢規範或期望的力的方向提供更多信息，也能更自然地指定。

深度觸覺模型 —— 預測控制

如何利用我們的高維感官信息來完成這些控制任務？這三個操作任務都可以使用相同的基於模型的強化學習演算法來解決，我們稱之為觸覺模型預測控制(tactile model-predictive control，tactile MPC)，建立在視覺預見(visual foresight) 之上。

需要注意的是，我們可以為每個任務使用相同的超參數集，從而消除了手動超參數調優。

深度觸覺模型預測控制的概覽

觸覺 MPC 演算法的工作原理是在自主採集的數據上訓練一個動作條件的視覺動態或視頻預測模型。該模型從原始的感官數據 (如圖像像素) 中學習，並且能夠直接對未來圖像進行預測，並將其作為輸入，作為機器人未來採取的假設動作以及我們稱為上下文幀的起始觸覺圖像。沒有指定其他信息，例如末端執行器的絕對位置。

視頻預測模型的架構

在觸覺 MPC 中，如上圖所示，在測試時採集了大量的動作序列，本例中為200 個動作序列，並且由模型預測得到假設軌跡。選擇預測最接近目標的軌跡，並且此序列中的第一個動作被機器人在現實世界中採取。為了在模型出現小誤差時進行恢復，每一步都重複規划過程中的軌跡。

這種控制方案以前已經被應用，並成功地使機器人能夠拾取和重新排列物體，甚至可以將其推廣到以前未見過的物體。如果你有興趣閱讀更多關於這方面的資料，可以查閱這篇論文：https://arxiv.org/abs/1812.00568。

為了訓練視頻預測模型，我們需要收集各種數據，使機器人能夠推廣到其從未見過的觸覺狀態。雖然我們坐在鍵盤前告訴機器人如何沿著每一個軌跡移動每一步，但讓機器人大致了解如何收集數據並允許它這樣做會更好。通過一些簡單的重置機制，確保檯面上的東西不會在數據收集過程中失控，機器人能夠通過收集基於隨機動作序列的軌跡，以完全自我監督的方式收集數據。在這些軌跡中，機器人記錄來自感測器的觸覺圖像，以及它在每一步採取的隨機動作。每一項任務都需要大約 36 小時的數據收集，無需人工監督。