MDP：马尔科夫决策过程（一）

MDP：马尔科夫决策过程（Markov Decision Process）

定义：

一个马尔可夫模型包括如下部分

状态集 S (States)

动作集 A (Actions)

奖惩函数 R (reward function)

在状态 s 下，执行 a 动作的影响函数 T

我们假设执行动作 a 的效果只与当前状态有关，与之前历史状态无关。

动作表示：分为 确定性动作（Determinstic Actions） 和 随机性动作（Stochastic Actions）

确定性动作：T：S × A -> S，对于每一个状态和动作可以确定下一个状态

随机性动作：T：S × A -> Prob(S)，对于每一个状态和动作可以确定下一个状态的概率分布

策略π （Pai）：表示当前状态 s 选择怎样的动作 a

策略π的执行过程：

确定当前状态

根据当前状态，按照策略 π 执行动作 a

执行1

所谓全观测 （Fully Observation）就是执行动作 a 到达的下一状态 s ，系统是可以知道的