1.DQN
在传统RL算法中，依靠的是Policy和Value的协同迭代优化agent。
而现代，
DQN等value-based类算法弱化了Policy的存在，Policy成了Value的附属；
ReinforcePG，DPG,DDPG等policy-based类算法弱化了Value的存在。agent依赖于PolicyNetwork，只做一个从State到Action的映射。
DQN在干嘛？从(s,a)到Q(s,a)的映射
训练DQN的时候在训练的什么？Q(s,a；serta)的参数serta
DQN如何训练？
首先agent与env交互，采样，训练样本为(s,a,r,s')，存储在experience_replay里。
然后采用反向传播方法优化神经网络的参数serta。
误差为
借助tensorflow实现DQN代码：
https://github.com/Dynmi/RL_study/blob/master/agent/agent_DQN.py
2. PG
这是OPENAI的人在DQN之后提出来的，它不聚焦于Value，而聚焦于Policy本身。建立一个从s到A的映射pai。此时跟DQN相同，还是面对的离散动作空间，用一个softmax来输出选择每个action的概率。监督学习的label使用state value。所以在PG这里还是需要Value的，MC_PG方法对待Value还是传统方法用一个表存state-value。算法优化过程在于优化神经网络pai的参数。
3. QAC
从PG往前一步，把Value也神经网络化，也就是说，算法训练的时候对两个神经网络进行参数优化，一个是Qvalue Network，一个是PolicyNetwork。
一直到这里应对的还是离散行为空间。
4. DDPG ( 2016ICLR )
Deterministic Policy Gradient
从DPG开始就研究连续行为空间了。