6行代碼搞定基本的RL演算法，速度圍觀Reddit高贊帖

【新智元導讀】今天和大家分享Reddit上的一個熱帖，樓主用PyTorch實現了基本的RL演算法，而且每個演算法都在一個文件夾中完成，即使沒有GPU，每個演算法也可以在30秒內完成訓練。

近日，有開發人員用PyTorch實現了基本的RL演算法，比如REINFORCE, vanilla actor-critic, DDPG, A3C, DQN 和PPO。這個帖子在Reddit論壇上獲得了195個贊並引發了熱議，一起來看一下吧。

特點如下：

每個演算法都在一個文件中完成。

每個演算法的長度可達100~150行代碼。

即使沒有GPU，每個演算法也可以在30秒內完成訓練。

Envs固定在「CartPole-v1」上，你只需關注執行。

minimalRL-pytorch演算法：

1. REINFORCE（66行）

2. TD Actor-Critic（97行）

3. DQN（113行，包括重放內存和目標網路）

4. PPO（116行，包括GAE）

5. DDPG（149行，包括OU雜訊和軟目標更新）

6. A3C（116行）

7. 有什麼建議嗎？

依賴配置：

1. PyTorch

2. OpenAI GYM

使用：

# Works only with Python 3.# e.g.python3 REINFORCE.pypython3 actor_critic.pypython3 dqn.pypython3 ppo.pypython3 ddpg.pypython3 a3c.py

評論中，不少朋友表示了對樓主的認可和感謝：

Dump7留言：「可以！這是我見過的最美的東西之一。我不是一個能用框架編寫NN的人。但我正在努力。這將在很大程度上幫助到我。謝謝你做了這個。但是你能為基本的CNN和RNN製作這樣的單一文件代碼嗎？」

CodeReclaimers表示：「謝謝你分享這個——我知道把代碼簡化到最少是很費事的。特別好的是，你的代碼將依賴配置控制在最低限度。通常都是，我去尋找可以學習的例子，要花至少30多分鐘來收集所有依賴配置，結果發現我的平台上少了一些關鍵的東西。」

Reddit上的討論：

https://www.reddit.com/r/MachineLearning/comments/bt8sap/p_implementations_of_basic_rl_algorithms_with/

Github資源：

https://github.com/seungeunrho/minimalRL

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！