MIT發明10美元AI觸覺手套：識別物體，又能稱重，論文已上Nature

手邊沒有秤時我們往往喜歡把東西拿起來掂一下，經驗豐富的人可能真的能估計出物體的質量，但並非人人都有這種「超能力」。最近，MIT 的研究人員就發明了一種新的手套，戴上它不僅能掂出手邊的小東西有多重，還能僅通過觸覺識別出是什麼物體。重點是，這麼神奇的手套成本只有 10 美元。

MIT 研究人員開發了一種低成本的針織手套（僅需 10 美元）——「可伸縮觸覺手套」（STAG，scalable tactile glove）。該手套配有 548 個微小的感測器，幾乎遍布整個手掌。當人以各種方式和物體進行交互時，每個感測器都會捕捉壓力信號。神經網路會處理這些信號，以「學習」與該物體相關的壓力-信號模式，並形成數據集。然後，該系統利用收集到的數據集對物體進行分類，並僅通過觸覺來預測它們的重量，整個過程無需視覺輸入。

該技術可以用來幫助機器人識別和操縱物體，也可以用於假肢設計。

STAG 從人類的抓握中學習。a）STAG 手套學習人類抓握的全過程。b）STAG 手套的架構設計。

「人類能夠很好地識別和處理物品是因為我們有觸覺反饋。當我們觸摸物品時，我們能感覺出來它到底是什麼。但機器人沒有這麼豐富的反饋。我們總是希望機器人能夠做到人類做的事，比如洗碗或其它雜務。如果你想讓機器人做這些事，那它首先能夠很好地操縱物體。」手套發明者之一 Subramanian Sundaram 說道，他博士畢業於 MIT CSAIL。

該項研究發表在了《Nature》上，論文為《Learning the signatures of the human grasp using a scalable tactile glove》。

研究人員在論文中介紹了其利用 STAG 與 26 個常見物體進行交互並收集到的數據集，這些物體包括汽水罐、剪刀、網球、勺子、鋼筆等。基於該數據集，該系統預測物體類別的準確率可達 76%。該系統還能夠準確預測大部分 60g 以內物體的重量。

市面上流通的類似感測器手套動輒上千美元，通常還只包含 50 個感測器，捕捉到的信息非常有限。但 MIT 研究人員設計的這款 STAG 手套，能夠生成高解析度的數據，且成本僅為 10 美元！是的，你沒看錯，10 美元。

提高機器人的理解能力

這個觸覺感測系統可以與傳統的計算機視覺和基於圖像的數據集結合使用，從而使機器人對與物體的交互有更人性化的理解。

研究人員還使用數據集來衡量物體交互過程中手部不同區域之間的合作。例如，當人們使用食指的中間關節時，他們很少會使用拇指。但是食指和中指的指尖總是與大拇指一起使用。

Sundaram 說：「我們首次量化地證明，當我使用手的某一部分，使用另一部分的可能性有多大。」

物體操縱和抓取過程中手部各區域的合作。

假肢製造商可以利用這些數據來選擇放置壓力感測器的最佳位置，並幫助定製假肢，以適應人們經常接觸的任務和物體。

利用觸覺地圖識別抓取物體

STAG 覆蓋有一張可根據外在壓力改變電阻的導電聚合物。研究人員讓導電線穿過導電聚合物薄膜中的洞，從指尖一直到掌根。這些線形成一個個壓力感測器。戴著 STAG 的人抓握、舉起、放下或感受一樣物體時，這些感測器可以記錄每個點的壓力。

這些線連接手套和外部電路，從而將壓力數據轉換為「觸覺地圖」，即手上各個點變大變小的視頻。這些點表示壓力點的位置，點的大小表示力的大小：點越大，壓力越大。研究人員使用 STAG 手套與 26 個不同物體進行交互，並基於觸覺地圖收集了一個數據集，包含 135000 個視頻幀。神經網路可使用這些視頻幀預測物體的類別和重量，並感知人類的抓握。

為了識別物體的類別，研究人員設計了一個卷積神經網路（CNN），從而將特定的壓力模式與特定物體聯繫起來。但是這個技巧需要從不同類型的抓握中選擇視頻幀，以獲取物體的全貌。

其思路是：模仿人類抓握物體的多種不同方式，以便可以在不使用視力的情況下識別出物體類別。同樣地，該 CNN 半隨機地從視頻中選取表示不同類型抓握行為的八個視頻幀。

但是 CNN 無法從每個視頻的數千個幀中隨機選取幀。因此，它將類似的幀聚合在一起，形成對應不同抓握的各個簇。然後，它從每個簇中選取一幀，確保每個幀都具備代表性。接下來，CNN 使用它在訓練過程中學到的接觸模式，預測物體分類。

「我們想最大化選取的不同幀之間的差異，為網路提供最好的輸入。」Kellnhofer 表示，「單個簇中的所有幀具備類似的信號，可以表示抓取物體的相似方式。從多個簇中採樣可以模擬人類在探索物體類別時不斷嘗試不同抓握的方式。」

對於重量估計，研究人員構建了另一個數據集，包含手指和拇指抓、握、放下物體時的觸覺地圖的 11600 個視頻幀。需要注意，CNN 訓練數據集與測試數據集完全不同，這意味著它無法學習簡單地將重量和物體聯繫起來。在測試中，研究人員將單個幀輸入到 CNN 中。

本質上，CNN 只會挑出物體重量帶來的手部壓力，忽略其他因素（如為防止物體滑落所使用的手掌位置）導致的壓力。之後，CNN 基於恰當的壓力計算重量。

該系統可與機器人關節上的感測器結合起來使用，來衡量力矩和力，從而幫助機器人更好地預測物體重量。「關節對於預測重量來說是很重要的，但是從手指和手掌中我們也捕捉到了重要的重量組件。」Sundaram 表示。

根據觸覺信息識別物體類別並估計重量。

a) 利用觸覺信息來識別物體的 CNN 架構；b) 與使用隨機輸入相比，使用來自 N 個不同簇的不同觸覺地圖作為輸入時，物體識別準確率有所提升；c) 單手操縱物體時的一組代表性示例；d) 模型擴展版學到的卷積濾波器；e) 對來自單個物體交互的觸覺地圖進行聚類，以確定該物體的不同類型觸覺地圖；f) 與線性模型相比，基於「Leave-one-out」的 CNN 的重量預測結果（置信區間為 ± 95%）。

參考內容：

https://www.therobotreport.com/mit-glove-tactile-sensors-manipulation/

https://www.nature.com/articles/s41586-019-1234-z%20

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！