Dyna - 结合模型学习和直接强化学习

model_free的算法可以和模型学习结合。

方法是向环境（environment）传递了S,A后获得反馈S_，R，保存这个关系，记为

S_,R = Model(S, A)，如此多次就学习了model的一部分，就像是有了对外界环境的想象，如此就可以在不接触外界环境的情况下进行学习。

Q-learning和模型学习结合就是Tabular Dyna-Q方法：

Initialize Q(s,a)Q(s,a) and Model(s,a)∀s∈S and a∈A(s)Model(s,a)∀s∈S and a∈A(s)

Do forever(for each episode):

  (a) S←S← current (nonterminal) state

  (b) A←ϵ−greedy(S,Q)A←ϵ−greedy(S,Q)

  (c) Execute action AA; observe resultant reward, RR, and state, S′S′

  (d) Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]

  (e) Model(S,A)←R,S′Model(S,A)←R,S′ (assuming deterministic environment)

  (f) Repeat n times:

   S←S← random previously observed state

   A←A← random action previously taken in SS

   R,S′←Model(S,A)R,S′←Model(S,A)

   Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]Q(S,A)←Q(S,A)+α[R+γmaxa Q(S′,a)−Q(S,A)]