用AI設計微波集成電路，清華大學等提出深度強化學習方法RINN

選自arXiv

作者：Jie Liu等

機器之心編譯

近日，創天科技、清華大學、杭州電子科技大學、西安電子科技大學發布了一篇論文，提出一種新型神經網路架構 Relational Induction Neural Network（RINN），可以自行設計微波集成電路。實驗表明，該神經網路設計微波集成電路的水平堪比專業工程師。目前，這篇論文正在接受《Nature Communications》的評審。

微波集成電路（MWIC）是人類智慧、經驗和直覺碰撞的產物。工程師使用計算機輔助設計工具來分析和解決 MWIC 問題，然後試圖尋找最佳解決方案。這一過程非常枯燥、無聊且低效。受人類生理結構限制，工程師幾乎無法找到大規模 MWIC 的最優解決方案。如何使工程師突破這些瓶頸非常重要。

當前，所有研究人員都是人工提取 MWIC 參數，然後用機器學習技術優化這些參數。然而，這一方法有兩大嚴重缺陷：首先，它耗時耗力，並且提取的參數可能不夠準確，無法表示電路的一些重要特徵；其次，它會極大限制智能體的想像力和探索空間，導致其通常無法超越人類水平。

近年來，人工智慧在數據挖掘、計算機視覺、自然語言處理和其他眾多應用領域取得了很大成功。作為 AI 子領域之一，基於深度神經網路的強化學習逐漸從純學術研究轉入應用，例如經典的視頻遊戲、棋牌遊戲、神經機器翻譯和藥物設計。但是，MWIC 設計如何結合 AI 還是一個空白領域。由於 MWIC 設計的複雜結構和巨大解空間，傳統強化學習演算法需要大量的數據來學習設計決策流程，因此難以及時快速收斂。因此，本論文作者創造了 RINN（關係歸納神經網路，Relational Induction Neural Network）架構，它能夠高效學習 MWIC 數據規則，達到設計任意複雜度 MWIC 的目的。具體來說，MWIC 形狀被定義為一系列參數化網格（parameterized mesh），當每個網格改變時，模擬結果通過 ADS 或 Ansys EM 這樣的標準 CAE 包來計算。然後 RINN 聚類演算法被用於這些模擬結果變化的聚類。

本文的主要貢獻如下：首先，據研究者所知，這是首次嘗試使用深度強化學習方法（不依賴人類經驗）訓練智能體來探索 MWIC 設計，填補了這方面的空白。其次，聚類演算法被用來減少 MWIC 設計的解空間，這樣做可以帶來更強大的無監督學習能力，並確保 RINN 架構擁有更好的穩定性和更快的收斂速度。第三，針對微波傳輸線電路、濾波器電路、天線電路自動設計的不同方面進行的幾項綜合研究已成功說明：1）如何訓練 RINN 來作為 MWIC 設計智能體；2）如何集成 MWIC 設計和機器學習。該方法還可用於訓練其它領域的智能體（如力學），為未來的自動化設計指明了方向。

論文：Microwave Integrated Circuits Design with Relational Induction Neural Network

論文鏈接：https://arxiv.org/pdf/1901.02069.pdf

摘要：與圍棋相比，微波集成電路（MWIC）的解空間更大，結構也更為複雜，因此實現其自動設計一直以來都被視為人工智慧領域的一大難題。本文作者設計了一種新的人工智慧體，並將其命名為「關係歸納神經網路」（Relational Induction Neural Network）。該智能體可以自動設計 MWIC，且避免使用暴力計算來檢查每一個可能的解，這是電子領域的一項重大突破。該智能體在微波傳輸線電路、濾波器電路和天線電路設計任務上的實驗都取得了具有較強競爭力的結果。學習曲線表明，與傳統強化學習方法相比，本研究提出的架構能夠快速收斂到預先設計的 MWIC 模型，收斂速度可達 4 個數量級。該研究首次表明，智能體通過訓練或學習可以在不加入任何額外先驗知識的情況下自動歸納出 MWIC 結構之間的關係。值得注意的是，這種關係可以用 MWIC 理論和電磁場分布來解釋。這項研究融合了人工智慧和 MWIC，可以擴展到機械波、力學及其他相關領域。

結果

RINN 架構

圖 1：RINN 架構。a）聚類演算法數據集，即網狀模型的 S 參數變化矩陣。b）聚類演算法。c）用於訓練深度強化學習模型的網狀模型和 S 參數矩陣。d）以 c 為輸入、MWIC 模型設計動作的概率向量 π 及值標量 V 為輸出的深度強化學習模型。

1.基於 RINN 的濾波器設計

為了調查 RINN 執行 MWIC 設計的能力，研究者考慮了四種設計任務。準確的說，是四種濾波器設計任務，其中心頻率分別是 9.3GHz、11.5GHz、7.55GHz 和 6.95GHz，但是第四個濾波器的長度和寬度限制在 5mm*5mm。具體設計任務見表 1，具體設計方案見圖 2。

表 1：四種濾波器設計任務。

圖 2：濾波器的聚類可視化圖。a）濾波器模型。b-d）設計好的濾波器模型的表面電流密度分布、電場分布和磁場分布。e）網狀模型（meshed model）。f-j）設計好的濾波器上的典型動作集群（action cluster）可視化結果。k-o）典型動作集群的可微 S_11 曲線。

智能體從零開始學習如何在不知道設計規則的前提下設計 MWIC 模型。通過觀察智能體設計過濾器的動作，我們發現智能體實際上已經學會了類似於工程師的動作。為了降低通帶回波損耗並增加濾波器的插入損耗，第一項任務的智能體學會了逐步調整當前頻率下諧振器之間的耦合係數，其設計過程如圖 3（a-c）所示。

第二項任務和第三項任務的智能體首先學會調整諧振器的長度，以達到移動中心頻率的目的，然後調整諧振器之間的耦合係數，以減少通帶回波損耗，增加插入損耗，其設計過程如圖 3（d-i）所示。

圖 3：基於 RINN 架構的濾波器設計流程。a-c）第一個任務的優化濾波器模型，及其回波損耗（S_11）和插入損耗（S_21）變化圖。d-f）、g-i）、 j-l）分別是第二、三、四個任務的優化濾波器模型、回波損耗（S_11）變化圖和插入損耗（S_21）變化圖。m）四個任務的學習曲線。智能體的學習速度與設計任務的複雜度相關，設計任務越複雜，智能體的學習速度越慢。

2.基於 RINN 的天線設計

為了進一步證明 RINN 架構的泛化能力，我們嘗試用它來設計天線。如圖 5 所示，RINN 訓練的智能體在沒有任何人類知識的情況下成功地捕捉了天線的主要特徵，並學會了在設計天線時執行一系列的正確動作，這些動作能簡潔地表達引起他們觀察的因果關係。智能體基於學習的策略成功地設計出了三種不同頻率的天線模型。從設計天線的過程中，可以看到輻射貼片主要影響中心頻率，而饋線主要影響輸入阻抗。這些結果都與矩形貼片天線的理論以及電磁場分布一致。

圖 5：a-c）三種天線模型，其中心頻率分別為 8.5GHz、6.15GHz 和 7.35GHz，由智能體設計。d-f）觀察智能體根據回波損耗曲線（S11）的變化設計天線的過程。g）所有天線的增益模式。h）三種天線模型的學習曲線。

與人類工程師比較

我們在兩個實驗中對比了 RINN 和專業工程師的表現：首先，在 9.1GHz 的中心頻率和 1.2GHz 的帶寬下，六階濾波器的反射損耗小於-15dB，插入損耗大於-1dB；第二，一個六貼片天線中心頻率為 7.35 GHz 時，其增益大於 3dB。從圖 6 中對比的人類工程師和 RINN 設計的 MWIC 模型中可以看出，人類工程師設計的模型更加規則，並且參數數量有限。RINN 設計的模型是不規則的，有更多的參數和更高的自由度，並且其形狀更像是自然形成的。實際上，RINN 智能體可以學習提取影響電路性能的關鍵參數，並掌握多種設計任務。因此，僅接收網格濾波器矩陣和 S 參數矩陣作為輸入的 RINN 智能體能夠達到與專業工程師相當的水平。

圖 6：a）由工程師設計的六階濾波器模型。b）由 RINN 設計的六階濾波器模型。c）a 的回波損耗曲線（S11）和插入損耗曲線（S21），以及 b 的回波損耗曲線（S11）和插入損耗曲線（S21）。d）由工程師設計的六貼片天線模型。e）由 RINN 設計的六貼片天線模型。f）a 和 b 的 7.35 GHz 增益曲線。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！