DeepMind的強化學習：從無監督輔助到情境控制

機器之心報道

DeepMind論文提出神經情景控制：可顯著提速深度強化學習

深度強化學習方法能在廣泛的環境中實現超越人類的表現。這樣的方法是非常低效的，要想實現合理程度的表現，所需的數據量往往比人類所需的多幾個數量級。我們提出了神經情景控制（Neural Episodic Control/NEC）：一種能夠快速吸收新經驗和基於此採取行動的深度強化學習代理。我們的代理使用了一種價值函數的半值表示（semi-tabular representation）：一種過去經驗的緩衝器，其包含了該價值函數的緩慢變化的狀態表示和快速更新的估計。我們通過在廣泛環境中的研究表明：我們的代理的學習速度可以顯著快於當前最佳的通用深度強化學習代理。

神經情景控制（Neural Episodic Control）

我們的代理由三個組分構成：一個處理像素圖像的卷積神經網路，一個記憶模塊集合（每個動作一個模塊）和一個將動作記憶的讀出轉換成 Q(s, a) 值的最終的網路。這裡的卷積神經網路使用了和 DQN (Mnih et al., 2015) 所使用的一樣的架構。

演算法 1：神經情景控制（Neural Episodic Control）

圖 1：在一個可微分神經詞典（Differentiable Neural Dictionary）上的操作的圖示

圖 2：對單個動作 a 的情景記憶模塊（episodic memory module）的架構。表示當前狀態的像素進入通過左下方的一個卷積神經網路，然後在右上方輸出 Q(s, a) 的一個估計。梯度會流過這整個架構。

圖 3～圖 8：不同演算法在不同遊戲上的學習曲線，上圖為不同演算法在 Ms. Pac-Man 上的學習曲線

論文：使用無監督輔助任務的強化學習（Reinforcement Learning with Unsupervised Auxiliary Tasks）

深度強化學習代理已經通過直接最大化累積獎勵而實現了當前最佳的表現。但是，環境包含了遠遠更多類型的可能的訓練信號。在這篇論文中，我們介紹一種通過強化學習也能同時最大化許多其它偽獎勵函數（pseudo-reward functions）的代理。所有這些任務都共享了一個共同的表徵，就像無監督學習一樣，這種表徵可以繼續在有外部獎勵（extrinsic rewards）存在的情況下發展。我們還引入了一種全新的機制以將這種表徵的重心放到外部獎勵上，從而讓學習可以快速適應該實際任務中最相關的方面。在 Atari 遊戲上，我們的代理的表現顯著超越了之前的最佳表現，平均達到了人類專家表現的 880%；並且在一個有挑戰性的第一人稱三維 Labyrinth 任務合集中實現了平均 10 倍的學習加速和平均 87% 的人類專家在 Labyrinth 上的表現。