强化学习之路（0）

强化学习之路（0）之缘由

开始接触强化学习是在回到所里开始找课题研究方向的时候，偶然查到伯克利的机器人视频,给我比较惊艳的感觉。陆续开始查找强化学习的一些资料。最近看到一篇有关强化学习的博文，瞬时，想把自己接触到强化学习的过程也做一个简单梳理，为接下来准备在强化学习方向完成毕业论文做一个初略安排。

有关强化学习的资料：

• Tom M. Mitchell的《机器学习》最后一章讲reinforcement learning，算是入门

• 吴恩达公开课中的强化学习部分，他们自动直升机实验室做的项目。

• 吴恩达的博士生Pieter Abbeel(现任教于伯克利，上面的机器人即是他们实验室)，他的博士论文Apprenticeship Learning and Reinforcement Learning with Application to Robotic Control值得一看,还有其在伯克利的DRL课程

• Richard S.Sutton and Andrew G.Barto的RL的经典之作Reinforcement Learning: An Introduction

• Marco Wiering Martijn van Otterlo (Eds.)写的 Reinforcement Learning State-Of-the-Art

• 2015 nature上的 一篇关于 reinforcement learning 的综述: Reinforcement learning improves behaviour from evaluative feedback（Michael L. Littman）（链接还包括2015年机器学习专栏其他5篇综述，如下：

  • Machine intelligence （Tanguy Chouard & Liesbeth Venema）
  • Deep learning（Yann LeCun, Yoshua Bengio & Geoffrey Hinton）
  • Reinforcement learning improves behaviour from evaluative feedback
    （Michael L. Littman）
  • Probabilistic machine learning and artificial intelligence（Zoubin Ghahramani）
  • Science, technology and the future of small autonomous drone（Dario Floreano & Robert J. Wood）
  • Design, fabrication and control of soft robots（Daniela Rus & Michael T. Tolley）
  • From evolutionary computation to the evolution of things（Agoston E. Eiben & Jim Smith）

应该关注的实验室：

• Knowledge-Based Reinforcement Learning
• MIT飞行控制实验室Scaling Reinforcement Learning Methods by Incremental Feature Dependency Discovery
• Reinforcement Learning and Control

代码工具框架:

• 最近找到一个PyBrain的python开源库，不错,准备前期就用它了

• 看Pieter Abbeel视频中提到的，他们的库Computation Graph Toolkit

• RL-Glue framework

• 网友提到的：

  • ROS的RL
  • 其他：
    • http://www.cse.unsw.edu.au/~cs9417ml/RL1/sourcecode.html
    • http://www.igi.tugraz.at/ril-toolbox/links/
    • http://en.wikipedia.org/wiki/Reinforcement_learning

一些相关会议：

(from reinforcement learning State of the art)

A large portion of papers appears every year (or two year) at the established top conferences

• artificial intelligence, such as IJCAI, ECAI and AAAI
• top conferences with a particular focus on statistical machine learning , such as UAI, ICML, ECML and NIPS.
• In addition, conferences on artificial life (Alife), adaptive behavior
  (SAB), robotics (ICRA, IROS, RSS) and neural networks and evolutionary computation(e.g. IJCNN and ICANN) feature much reinforcement learning work.

workshop:

• The European workshop on reinforcement learning (EWRL)
• IEEE Symposium on Adaptive Dynamic Programming and Reinforcement Learning (ADPRL)

competitions:

• RL-Competition