结合数据挖掘分类谈谈对信息熵的理解

     信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。

   公式为：H(x)=E[I(xi)]=E[ log(2,1/p(xi)) ]=-∑p(xi)log(2,p(xi)) (i=1,2,..n)该值越大表示信息量越大

   在一个系统中，该系统越混乱，那么就越难把它搞清楚，需要的信息量就越大，信息熵就越大

   回到数据挖掘中用决策树进行分类中，在分类的之前，我们需要建立一个决策树，在建立决策树的时候属性的选择是一个非常关键的问题，我们选择的属性的标准是让划分尽量纯（落在给定划分中的元祖都属于相同类的越多，那么就越纯），结合上面我们可以推理出如果按照某个属性划分后，每个该属性属性值所对应的元组越统一（元组所属的类别越统一），那么我们这个属性的选择就越符合我们的需求。和信息熵结合，就是选择该属性之后，所有属性值对应的分类的信息熵之和越小，那么我们元组分类所需要的平均信息越少，该属性就越符合我们的要求