强化学习概述--甄景贤
2017-07-17 17:38
267 查看
1、什么是强化学习(What is reinforcement learning?)
Reinforcement learning 是机器学习里面的一个分支,特别善於控制一只能够在某个环境下 自主行动 的个体 (autonomous agent),透过和 环境 之间的互动,例如 sensory perception 和 rewards,而不断改进它的行为 。听到强化学习,你脑里应该浮现一只曱甴那样的小昆虫,那就是 autonomous agent 的形象:
对「环境」(environment) 这概念,你应该想到像以下这经典游戏的迷宫:
包括有追捕你的怪物、和吃了会加分的食物 (这些代表负值和正值的 rewards)。 当然,实际应用的「环境」和「奖励」可以是抽象的,这游戏是一个很具体的例子。
2、输入/输出
reinforcement learning 的 输入 是:状态 (States) = 环境,例如迷宫的每一格是一个 state
动作 (Actions) = 在每个状态下,有什么行动是容许的
奖励 (Rewards) = 进入每个状态时,能带来正面或负面的 价值 (utility)
而输出就是:
方案 (Policy) = 在每个状态下,你会选择哪个行动?
於是这 4 个元素的 tuple (S,A,R,P)就构成了一个强化学习的系统。 在抽象代数中我们常常用这 tuple 的方法去定义系统或结构。
再详细一点的例子就是:
states S = 迷宫中每一格的位置,可以用一对座标表示,例如(1,3)
actions A = 在迷宫中每一格,你可以行走的方向,例如:{上,下,左,右}
rewards R = 当前的状态 (current state) 之下,迷宫中的那格可能有食物 (+1) 、也可能有怪兽 (-100)
policy P = 一个由 状态 → 行动 的 函数,意即: 这函数对给定的每一个状态,都会给出一个行动。
(S, A, R)是使用者设定的, P 是算法自动计算出来的。
人与虫之间
第一个想到的问题是: 为什么不用这个方法打造人工智能? 但现时的强化学习算法,只对比较细小和简单的环境适用,对於大的复杂的世界,例如象棋的 10xxx 状态空间,仍是 intractable 的。关键就是,高等智慧生物会在脑中建立世界的模型 (world model) 或知识 (knowledge), 而强化学习只是关心简单的「状态-行动」配对。
强化学习的领导研究者 Richard Sutton 认为,只有这种学习法才考虑到 自主个体、环境、奖励 等因素,所以它是人工智能中最 top-level 的 architecture,而其他人工智能的子系统,例如 logic 或 pattern recognition,都应该在它的控制之下,我觉得颇合理。
所以要制造 strong AI,一个可能的方案就是结合强化学习和某种处理复杂 world model 的能力:
「你们已经由虫进化成人,但在你们之内大部份仍是虫。」 – 尼采, Thus spoke Zarathustra
「如果人类不相信他们有一天会变成神,他们就肯定会变成虫。」 – Henry Miller 。
程式
学 AI 最紧要有 program,不然就会很枯燥。 这是我在网上找到的一个特别简单的 demo,作者是 Travis DeWolf:
https://studywolf.wordpress.com/2012/11/25/reinforcement-learning-q-learning-and-exploration/
只要 Python 便可运行,但你可能要 install PyGame。
猫、老鼠、芝士:
猫的行动是简单地朝着老鼠追(没有智能),老鼠的行动是学习出来的。
注意,在 main program 和 cellular.py 这两部分,纯粹是定义了迷宫世界如何运作,基本上是一个 game,里面完全没有智能,你可以用{上、下、左、右} 控制各 agent 的活动,如此而已。
强化学习的程式在 qlearn.py,很短,而真正学习的程式基本上只有一句,就是:
def learnQ(self, state, action, reward, value): oldv = self.q.get((state, action), None) if oldv is None: self.q[(state, action)] = reward else: self.q[(state, action)] = oldv + self.alpha * (value - oldv)
单是这一句程式,就能令老鼠学到避开猫、吃芝士。 以下再解释……
3、 強化學習的原理
AI-a modern approach》这本书第 21 章有很好的简介。 《AIMA》自然是经典,很多人说他们是读这本书而爱上 AI 的。 这本书好处是,用文字很耐性地解释所有概念和原理,思路很清晰,使读者不致有杂乱无章的感觉。 例如 21 章 首先讲 passive reinforcement learning,意思是当 policy 是固定时,纯粹计算一下 agent 期望的价值(utility,即 rewards 的总和) 会是多少。 有了这基础后再比较不同 policies 的好坏。 这种思路在数学中很常见: 首先考虑简单到连白痴也可以解决的 case,然后逐步引入更多的复杂性。 例如数学归纳法,由 N=1 的 case 推到 N→∞ 。为免重复,我只解释到明白 Q learning 的最少知识。
4、Utility (价值,或效)
U 是一连串行动的 rewards 的总和。 例如说,行一步棋的效用,不单是那步棋当前的利益,还包括走那步棋之后带来的后果。 例如,当下贪吃一只卒,但 10 步后可能被将死。 又或者,眼前有美味的食物,但有些人选择不吃,因为怕吃了会变肥。一个 state 的效用 U 就是: 假设方案固定,考虑到未来所有可能的 transitions,从这个 state 开始的平均期望的 total reward 是多少 :
U(S0)=
相关文章推荐
- AlphaGo Zero 与深度强化学习(一) 概述
- 深度强化学习系列(一):强化学习概述
- 深入浅出的强化学习笔记(一)——概述
- 强化学习在机器人中的应用 --- 概述
- 深度强化学习及其在自动驾驶中的应用: DRL&ADS系列之(1): 强化学习概述
- 强化学习 - 概述
- CCNA认证学习笔记(一)——网络概述
- WPF入门学习(概述)
- 学习笔记 Java概述 2014.7.8
- SOA概述--学习笔记
- 强化知识,刻苦学习
- 学习java概述及数据类型与运算符
- 深度学习概述:从感知机到深度网络
- [摘自MSDN] ASP.Net2.0学习 [1] 母版页 1 : ASP.NET 母版页概述
- Java基础知识强化之IO流笔记07:自定义的异常概述和自定义异常实现
- Android应用程序与SurfaceFlinger服务的关系概述和学习计划
- Hinton Neural Networks课程笔记1e: 监督学习、强化学习、无监督学习,及其应用
- JAVA学习笔记7——面向对象概述1
- Sharepoint2013商务智能学习笔记之简单概述(一)
- Ionic学习--1.概述