CS229的简单梳理（待续）

准备研究生复试，借机梳理一下CS229，以notes和《统计学习方法》和其他资源为辅助。

1，首先是logistic回归

Andrew的logistic函数和李航书上的并不相同，Andrew的分母是负指数，考虑到是由GLM推导过来的，所以信Andrew的。

logistic感觉本质是一个线性模型（也难怪来自GLM），粗略理解成将线性模型映射成了概率；模型评价方法是极大似然估计。

从GLM出发还可以得到softmax，相当于多元的logistic回归

另外，李航的书上讲到了最大熵模型（根据最大熵原理选择的模型）

最大熵原理是概率模型学习的一个准则；它认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。

另外，证明了最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。