摘取自動拾取機器人技術的「聖杯」，隨機拾取在艱難中前行

2017-08-30 Tanya M. Anandan 機器之能

儘管自動拾取機器人比以往都要高效，但是它們依然有其局限性，因為尚未掌握這項科技中的最神聖的部分——隨機零件拾取機器人。

編譯 | Chen Xiaoqing 藤子

來源 | robotics online

單次卸載集裝箱的一部分並放入機器，散裝零件重組以及訂單履行這樣單調的任務需要大量的勞動力，如果零件非常沉重尖銳，這些任務還相當危險。零件拾取機器人做這種重複性的工作已經許多年了。但是，還有更多的應用亟待實現。製造和倉儲自動化也正在焦慮地觀望之中。

儘管自動拾取機器人比以往都要高效，但是它們依然有其局限性。我們尚未掌握這項科技中的最神聖的部分——隨機零件拾取機器人。儘管如此，我們還是能看到一些顯著的進步。以領先的視覺技術軟體作為強大支持，逐漸開發的解決方案可以讓機器人探索這一未知領域。

為什麼機器人實現隨機拾取這麼艱難呢？

問題在於精確性。儘管機器人因其可重複性而備受讚賞，隨機拾取則需要在混亂時維持高精確度。機器人需要將零件放在一個未結構化的環境中的空間里，然而其他零件也會隨著每次機器人取出零件而不停移動位置。機器人的靈活性、機器視覺、軟體配置以及計算需要實時處理所有的數據以達到這種精確的平衡，並給出解決演算法以找出需要拾取的零件。聽起來難以實現，但並不是不可能的。

「對自動拾取機器人的能力以及其局限的炒作早就甚囂塵上。」FANUC 公司的智能機器人/機器視覺工程師 David Dechow 說道，「現實是，機器視覺對於所有我們希望它執行的其中一些任務都非常適合，並且足夠強大和可靠，無論是審察，二維或者三維引導。從我自己許多年的實際經驗來說，自動拾取也在這一類型當中。這其實是一種真實世界的本領，但是也仍然是我們希望機器人完成的事情之一。」

Dechow 與已故的機器人視覺引導領域的專家 Adil Shafi 曾經合作密切，後者為早期自動拾取技術的進步做出了貢獻。許多他的創新依然還在影響這這些領域的發展。

Shafi 預言機器人隨機拾取將會成為 2020 年的主流。很多當代人相信他是對的。自動拾取在如今已經相當常見。

「我會說，隨機拾取正在成為一種主流現象。」Dechow 說道，「我認為 Adil 的思想和創作都在促進這個過程。他就如同一個傳教士一樣，而剩餘的應用所帶來的特殊挑戰也會在不遠的將來被解決。」

自動拾取主要有三種類型：結構化的，半結構化的以及隨機自動拾取。越往後，其應用的複雜性就會增加，成本與循環時間也是如此。（這裡將集裝箱或行李箱和無包裹的零件做出區分。在後面會詳述為什麼這個區分很關鍵）

結構化——零件以有規律和組織的形式容納在集裝箱里，因此易於成像和拾取。

半結構化——零件以某種程度上的組織和規律容納在集裝箱，能夠幫助成像和拾取。

隨機——零件以完全的隨機形式容納在集裝箱內，方向不同，且有重疊甚至纏繞的現象，讓成像和拾取很困難。

在這三個子集中，我們還要基於要拾取的零件的特性，例如，在集裝箱中以不同的形態去進一步考慮。

「結構化與半結構化的自動拾取通常很容易操作，並且非常迅速，因此不需要複雜的技術。」Dechow 說，「當我們討論技術上的『聖杯』時，我想到的更多的是隨機的情況，重疊與纏繞的情況，以及多種類型的零件拾取。」

他提到結構化的自動拾取經常由二維視覺完成，「當你想起自動拾取的時候，每個人都在想三維成像以及三維分析。實際上，自動拾取領域的一些任務可以只用二位成像與二維分析完成。」

幾何對稱的成功

零件的特性經常決定一個零件是否適合自動拾取。Dechow 說他們已經從「十分有把握的事情」前進到了更有挑戰性的應用。

「有一些零件在幾何結構以及在任意集裝箱里的形態都十分適合。」Dechow 說，「在這種類型的零件中，絕對成功率會更大，幾何形態並不複雜的零件在隨機靜置的狀態下並不會發生很大改變。」（無論零件會掉落到或者躺在集裝箱內的哪個地方，這都是它的隨機靜置狀態中的一種。）

也有一種混合類型的集裝箱，但是它們的零件在幾何分布上很相似。它們更大，由於其對稱性構造，因而並不是很複雜。即使它的底面甚至可以放下一個箱子，它依然是一個可分析的相對連續的表面。許多應用都屬於這一種類。這種混合的產品類型訂單很常見，並且通常很成功，因為你在倉庫里找到的產品通常都屬於這種幾何對稱的類型。

「它們並沒有什麼奇特的特徵。」Dechow 說，「並不沉，並且在它們的隨機靜置狀態中，它們依然有足夠的可識別的表面以用來拾取。這種三維自動拾取是如今最成功的案例。」

Dechow 提到如果有些物品表面有圖像或列印的字體，也不會有所不同。因為大部分雲生成的三維圖像與目標的圖像標誌並無關係。

「它們不需要有多麼漂亮或者乾淨。」Dechow 說，「想一想工廠里機器處理，鍛造或加熱的大型鋼坯，大概有 20 或 30 磅重。但是就像我們所說的，在不同的靜置狀態下，它是一個連續的幾何形狀，並且僅有幾個幾何表面。這對於機器人來說易於拾取並抓握。」

複雜幾何也在進步

隨著零件更加複雜，自動拾取也從易到難，但是易於識別的特徵——例如甜甜圈形狀還是會讓事情更簡單。

機器人隨機自動拾取利用 FANUC 公司的 iRVision 三維區域感應器以及兩個機器人來拾取集裝箱內被衝壓扁的汽車，以及交給熱處理機器。Motion Controls Robotics 是一種 RIA 認證的機器人的製造商，它可以為一級供應商設計並安裝電池單元。

FANUC 的自動拾取機器人由雙頭的多功能末端執行器，它可以利用 Magswitch 開發的磁鐵抓捕器在集裝箱內重組零部件，使抓取更加容易，以及由 SCHUNK 開發的兩指抓握器去拾取零件並將它們扔到滑梯上。滑梯上的感應器會告訴機器人的第二個控制端零件的方向，並告訴它輪緣是向上還是向下，因此機器人就知道該如何抓取零件。接著，機器人會從滑梯上取下零件，調整方向，將它嵌入到熱處理機中。並撿起完成的零件並將它交給下一步的操作。

這家機器人公司會在成功之前嘗試多種手臂末端工具的設計與視覺處理。這對於自動拾取應用並不稀奇。這種三維技術仍然需要足夠熟練的組裝技巧，零件更加複雜，組裝任務也會更加困難。Dechow 表示，在簡單與困難的這個範圍中間則是更加複雜的架構。

「想像一個像曲軸一樣的圓形物體，很長並有一定的幾何形狀。從一面來看，它可能是個圓柱體，而從另一端看，它還可能是一個小型活塞桿。它是一個長的物體，因此它可能會被某些部分所覆蓋。假如有另一個零件覆蓋在它上面，一個 30 磅的物體甚至可能會變成 50 或者 60 磅重的物體。」Dechow 說。

「這些零件可以劃分為一個大的種類，你可以在重工業或者自動化製造業中看到它們。」Dechow 接著說，「它們常常用集裝箱來運輸，你在集裝箱上面，也就是成像的位置，只能看到一個零件的一部分，而這僅僅是冰山一角。隱藏在其下的才是大部分，因此很難去找出到底哪個才是最適合的抓握機器。」

片狀物，包裝以及變形依然具有挑戰性

還有些物體對於機器視覺，甚至三維成像技術來說，依然十分困難。

「例如某些片狀物體，非常薄但很寬闊，它們被壓扁然後覆蓋於彼此之上。」Dechow 解釋，「這讓機器非常難於區分這些物體，因為高度的變化十分微小，並且這些零件的幾何形狀也會讓機器困惑。」

「包裝好的零件，以及裝在塑料包裝里的零件和軟（易於變形）的零件，這些都是機器人難以識別的物體。」

「我們從來不會說『不行』」他補充說，「我們希望將這個技術推動到極限，而且我們也經常這樣做。」

二維隨機自動拾取

位於荷蘭和密歇根州的 JR 自動化技術公司也是一個堅持挑戰極限的公司。這一家 RIA 認證的機器人製造商也是 FANUC 機器視覺技術下的機器人指定測試站點。

「我們會在新技術的測試階段試用並感受它，然後提供評估與反饋。」JR 自動化公司的控制工程經理 TYLER McCoy 說，「我們已經這麼做了很多年了，某種意義上，我們就是 FANUC iRVision 的試驗床。」

McCoy 提到他們整合了許多結構化以及半結構化的自動拾取應用技術，他們認為這將是一個趨勢。隨機自動拾取技術則看起來仍然很稀少且遙遠。

「我們最近實現了為汽車座背裝配零件的自動拾取演算法。」McCoy 說，「其中包括了一個看起來像座背的 U 型結構框架，兩根焊接到頭枕的金屬管，以及跨在框架中間用來安裝靠墊的支撐。」

「這是一個包括了組裝與焊接的單元。我們的任務就是將這些零件從總體上卸下，並將它們放到焊接工具中，再放置在有四個位置的組裝床上，兩個機器人會將這些組件焊接到一起。」

這些 U 型框架會被放在重力支架（一種傾斜支撐物）上以便更容易地進行焊接處理。而兩個頭枕的金屬管則比較小，可以放入螺旋的碗型送料機。

「但是靠墊的支撐架有 16 英尺長，9 英尺寬，0.75 英尺厚。暫時我們還沒有很適合的送料機適用於這麼大的金屬板。」McCoy 說，「因此我們用三維區域掃描先進行評估，但是我們發現它所具有的單調幾何特徵很難讓機器進行三維區分。三維自動拾取暫時還無法應用於它。」（它屬於片狀物，包裝以及變形的具有挑戰性的物體。）

「首先，在自動拾取之前最好先評估物體。」McCoy 說道，「但隨後，我們發現這些沒什麼特點的幾何物體傾向於糾結在一起。它們可以有很多種方向，這使得基於數據的拾取策略有些掣肘。」

因此他們專門為機器人拾取支撐架開發了一套解決方案。通過無接觸的唯一感應器來探測集裝箱的深度，利用繪製虛擬的地形圖，從高處到低處，通過嵌有磁鐵的手臂末端一次抓取三到四個零件，並監視掉落的零件。這些零件會被放到循環推進系統，並利用不同的傳輸帶分開物體。接著二維相機和另一個機器人會拾取這些零件。結合其自主開發的軟體以及具有兼容性的工具和通用的拾取策略，從集裝箱里拿出這些零件，並將它們分離並運輸到更加傳統的送料機器。

整個組裝過程總共需要六個機器人。一個機器人進行拾取，另一個機器人將分離開來的支撐架從傳輸帶上卸下，第三個機器人則拾取主框架以及焊接頭枕的金屬管，兩個焊接機器人以及一個卸裝機器人。

「現有的系統能夠給我們每個集裝箱兩個半小時的緩衝時間，每個循環 20 秒。」McCoy 說，「我們同時用兩個集裝箱來操作，這樣它們就不需要等待的時間。機器人會清空一個集裝箱，在第二個集裝箱換上之前，然後用兩個半小時進行處理。」

在 JR 自動化這個過程之前，人們需要手動為汽車座椅的零件裝上焊接工具。McCoy 表示，這是他們為客戶開發的第二種類似的系統。第一個已經投入生產六個月了。

感應器、軟體以及 EOAT

隨機自動拾取需要很多技術的融合，尤其是三種提升機器人智力的技術：感應器、軟體以及手臂末端的工具。

「其中一個重要因素就是硬體。」McCoy 說，「它會變得更經濟有效，有更高的解析度與更快的處理速度，生成三維點數據的能力也會變得更加工業化。例如 Kenyence 和 LMI 公司都正在生產一些很有趣的產品，看起來每個人都想要將三維點雲數據囊入到工業空間中。」

「更加重要的是軟體，有很多獨立於機器人製造商的公司試圖認為這只不過是軟體的競爭而已。例如像 Recognition Robotics 在做一種很酷的擁有六個有自由度的二維攝像機。」

「在我看來，所有的硬體製造商正在讓生成三維雲點數據的硬體的解析度越來越高。」McCoy 說，「有很多智能軟體開發商正在利用這一點。我的確感覺到我們正處於兩種科技融合的時代，想像 2020 年的未來令人興奮。」

避免干擾

自動拾取——尤其是針對隨機自動拾取的環境——的軟體發展一個關鍵點就是利用演算法，防止機器人以及它的手臂撞到集裝箱和其他的零件。

「很多人們從沒有想過這一點，然而這也是一個非常廣闊的問題。」FANUC 的 Dechow 說道，「尤其是，我們的干擾避免技術是一個非常優雅的解決方案。你需要將機器人做出一個你自己都無法想像的姿勢。機器人可能真的會為了拾取一個零件而試圖穿過集裝箱的側壁。」

Dechow 認為，想讓機器人聰明到避免這種問題，需要開發針對性的軟體，這是一個有意思的任務。但是更加複雜的任務則是讓機器人決定它是否想去，以及它要去的地方是否會造成干擾，它可以以很高的自由度去自動改變機器人的路徑，讓機器人去抓取目標並避免碰觸到其他物體。

FNUAC 的避免干擾技術完全基於軟體，並且與三維區域感應器的標準相配合。其他的機器人製造商和軟體開發商有相似的演算法，它也被叫做障礙避免。

「你可以模擬機器人的關節，末端的工具，以及任何在抓握範圍內造成干擾的物體。」Dechow 表示，隨著機器人被送到一個未知的地方，軟體會計算預期的目標並改變方法以及抓握位置。比如一個靠牆的一個零件，或者以一定角度倚牆的零件，機器人則需要將它推到牆邊以便於抓握。Dechow 認為，這是一個很優雅的方式，但很多人並沒有想到這一點。

人工智慧用於自動拾取

對於一個軟體開發商，這就是他們所有想到的方案。在 NASA 之外的實驗室里，研究家正在為未知的太空探索準備擬人型的機器人，Universal Robotics 的機器人已投入應用，但是他們仍然在追求更高的精確度。

2013 年，這家公司發布了其開發的不受限拆垛系統，可以識別任何形狀，大小與方向的盒子。現在它正在將這些精細的演算法利用於隨機自動拾取。

「從容器內拾取物體的重點就在於精確度，因為每一次拾取都需要不同的路徑設計。」Universal Robotics 公司的 CEO 與聯合創始人之一的 David Peters 表示。他的兄弟 Alan 也是聯合創始人之一以及首席科技官。科學家們和 NASA 與范德比爾特大學聯合開發演算法。David 將他在電影商業中的資本放到了私募股權融資中以支持兄弟的冒險。

「近幾年技術上發生的大事便是我們在追求交易中 100% 的精確度。」Peters 說，演算法正變得愈發精細，學習功能也愈發廣闊。許多圍繞人工智慧的事物都在應用之上不停擴展。首先是移動盒子，接著開始自動拾取，現在自動拾取已經可以處理上千個單品。

Universal Robotics 的自動拾取軟體演算法的模擬應用平台有兩個組成部分。空間視覺處理傳統視覺並進行設備和感應器之間的交流，並促進機器人功能與校準的控制，Neocortex 結合了它的實時機器學習——即人工智慧和 Spatial Vision 的三維視覺成果所結合。

「我們利用的是平行處理，這讓我們能夠在毫秒量級內處理大型資料庫，理解正在發生什麼，繼而促進機器做出交易所需的行為。我們正處於機器可以在供應鏈中與人力速度所競爭的時刻。」Peters 總結道。

訂單履行

其中一個供應鏈解決方案包括了 Universal Robotics，R/X Automation Solutions 以及 Yasakawa Motorman 的合作，並一起提供機器人履行藥劑訂單的一站式方案。

「我們已經將 Neocortex 的技術應用於工業機器人以完成訂單履行，後者目前還需要手工操作。我們給系統設定三層保障以確保證器人能夠取得訂單中的藥劑。

「R/X Automation 的客戶們是大型直接對接客戶的藥劑公司。」Peters 說，「在他們的交易中，他們供應 100% 的客戶需要有效自動化結局方案，我們會處理工作零件組分。這正是史上第一次人們出現在供應鏈上。我們正在為這種特殊的零件提供一站式方案，包括了啟動、工業機器人、感應器、控制端、處理以及所需要的安全程度。」

Universal Robotics 的軟體對於機器人，啟動與感應還未可知。這個系統通常利用現成的工業級機構光感測器與一對立體視覺相機耦合。

「我們可以連接任務所需要的感應器數量。」Peters 提到，「因此如果客戶們說我需要你去讀一個二維碼，或者一個序列號，或者在它被放進箱子之前我需要你去做字元識別，我們只需要將感應器放在機器人手臂上或者機器人旁邊。」

「我們主要與感應器打交道，一旦後者可以提升，我們就可以將它放入現有的系統中。英特爾 i7 最新的版本剛剛上市，它的效率非常高。你猜怎麼樣，我要把它用於我的解決方案里。它能讓我能夠處理更加精細的演算法，達到更快的處理速度。」

Universal Robotics 的軟體基於 PC，「我們剛接受了類似於一個遊戲電腦的白標。」Peters 解釋道，「它是一個非常快的高端配置電腦。Spatial Vision 總是基於這一個單元的機器，而 Neocortex 則可以基於這個機器，工廠的伺服器，或者在雲中。」

「我們將 Spatial Vision 安放在機器人中的模型或輔助設計里，它可以自動理解如何驅動機器並在空間里移動（末端執行器也是同理），然後決定如何躲避障礙。」

電子商務與訂單履行是機器人自動拾取的一個快速發展領域。

「沃爾瑪、好市多、凱馬特等都擁有自己的網路預訂服務。」Peters 說，「目前為止，在包裝站依然需要人類在場。包裝出貨箱的過程其實正是自動拾取的一個很好的應用。」

他提到，這些物體可以是任意形狀。但是拾取一瓶清潔劑和一管小小的唇膏還是很不一樣的。挑戰最終還是落於末端執行器。

把握挑戰

許多人相信智能抓握技術將是推動隨機自動拾取成為主流之前的最終難題。FANUC 的 Dechow 則已經看到了其解決辦法所帶來的巨大潛力。

「我認為問題常常不是我們能不能從二維或者三維場景中獲取數據，而是如何根據已有的數據，讓機器人的手臂進入集裝箱圍繞在目標周圍，並成功地取出它。」

「問題在於，一個抓握器對於每種不同的隨機靜置狀態的物體經常是不夠的。」Dechow 表示。「當然，顏色對於成像也有決定性作用，但是末端執行器才是最終決定零件是否可以被取出的重要因素。」

Soft Robotics 公司研發的具有靈活性的抓握器已經準備好了挑戰。

Peters 表示，正如他們可以針對傳統末端執行器進行 CAD 輔助設計，他們也可以為可變形的抓握器做同樣的設計。

「你知道它本質上是一種觸碰能力，每個啟動的手指如何活動都會有一系列變數。當你能夠利用 CAD 進行輔助設計，你可以設計這些變數。」

很多公司都在研究該如何針對不同的工業和訂單履行業務，將自動拾取技術標準化，讓它對於中小型公司變得更加容易，性價比更高。

甚至連谷歌的登月項目也在躍躍欲試。

像這樣的突破性研究對於機器人隨機自動拾取有著深遠的影響，對於其他複雜的機器人路徑設計以及操作任務也是如此。Adil Shafi 一定會對此感到驕傲。不遠將來，2020 年將會見證人類掌握這個「聖杯」的時刻。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！