《机器学习》第2章中find-s算法的python实现

开坑记录《机器学习》学习过程中的一些小程序、思路等。

FIND-S，即寻找极大特殊假设。第2章中关于FIND-S的算法伪码如下：

表2-3 FIND-S算法

1. 将h初始化为H中最特殊假设

2. 对每个正例x

  ·对h的每个属性约束a[i]

      如果x满足a[i]

      那么不做任何处理

      否则将h中a[i]替换为x满足的另一个更一般约束

3. 输出假设h

具体实现的数据结构及一些细节如下：

一、假设：

H = {}

举例来说，对于Sky属性，有H['Sky']=[num,{value_list}]

其中num为满足约束的属性的数目，value_list为出现过的属性值的列表。由此可见，本实现并非严格意义上的FIND-S，实现方法更类似于列表后消除算法。这对于处理很大的假设空间是不现实的。稍后我将重新实现一个严格意义上的FIND-S算法。

二、输入数据文件格式说明

width=N表示属性的个数，包括正例或反例标志在内；

title行表示属性名，属性名之间用","隔开；

接下来是样例数据，每条数据一行，用","隔开各属性的值。

另外对输入数据的合法性未作严格检测。

三、一般性

FIND-S算法实现的核心为样例及假设的一般性比较，此处简单地使用形如if d[key] not in H[key][1]的方式来判断当前样例属性的值是否已经在假设的属性列表中。

实现的目标代码见下面的地址，已使用py2exe转换成可执行文件。
http://www.rayfile.com/zh-cn/files/85098757-a103-11e3-a9af-0015c55db73d/

追加标准FIND-S算法实现：http://download.csdn.net/detail/u013754134/6978937

修改了假设的数据结构如下：

假设：

H = {}

用字典的好处是查找便利，缺点是属性的输出顺序不好确定，需要做一些额外的工作。

同样，对于Sky属性，有H['Sky']='Sunny'；属性为空集时，H['Sky']=''；同样，有H['Sky']='?'，在确定一般性时作简单比较即可。