随机森林原理

随机森林是近年来机器学习中常用的方法，典型的随机森林是由一系列的二叉决策树构成，森林中树的数目由我们自己根据情况来定。

随机森林的训练是在用随机森林解决问题时最主要的问题。

所谓训练一个森林可以简单的用y=f(x)描述：

1、可以将所有训练样本看作输入-------x

2、所训练的森林看作分f（x）-----即训练出一个可以解决问题的函数

3、y即为test时的输出

随机森林的建造：

1、Sampling

抽样是随机森林中每棵树的建造的第一步，抽样利用放回的方式。

假设训练样本一共有N个，每次随机的从样本中有放回抽取一个，一共抽取N次，用这抽取的N个样本去训练森林中的一棵树；如此循环直到训练了我们 需要的数目的树。

2、节点分裂test的选择

节点test的选择采用 随机抽样+CART的方式。

所谓随机抽样即：假设每个样本都有M个属性，随机的从这M个属性中选择m个属性（其中m<<M）

CART即：使用这m个属性中最具有区分能力的某个属性用以使节点分裂。----------------详情参见Decision Tree and Regression Tree

这一步是针对于森林中每棵树的创建，其中的样本集合是每次用Bootstrap方式抽样得到的N个样本。

3、分裂的终止条件

分裂终止条件有很多种变种，有些是给节点中的属性数目设个阀值，具体可以根据实际情况来定。

随机森林建好后并不需要对森林中的剪枝，它可以用于解决分类问题以及回归问题。

Classification:

其输出结果是：所有树中获得投票(votes)最多的那个类，即为当前对象所属的类

Regression：

其输出结果是：所有树的输出值的平均值

在opencv的samples文件夹里有一个随机森里的样例，配置一下包含目录，库目录，和连接器便可以运行，下面是我的运行结果