机器学习第三篇（stanford大学公开课学习笔记） —logistic regression 和softmax regression

stanford机器学习公开课视频，讲师
Andrew Ng：http://v.163.com/special/opencourse/machinelearning.html

一、GLM and Expoential Family（广义线性模型和指数族）

前面谈到的回归模型中，我们假设y服从高斯分布，而在分类模型中，y被认为服从伯努利分布。从内在来看，这些模型都是一种更广义模型的特例，这种更广义模型被称为Generalized Linear Models（广义线性模型）。为了计算这种广义线性模型，我们定义一类函数分布称为指数族，函数y的概率分布形式由以下函数式定义：



对于伯努利分布，我们将其写成以下形式：



从上式可以看出，伯努利分布属于指数族；同理可以证明，当y服从高斯分布时，也属于指数族。为了计算广义线性模型，我们作出以下几个假设：

1、给定输入x和参数W，输出y服从指数族分布；

2、实际输出h（x）=E（y|x）；

3、n=WX

二、logistic regression






三、softmax regression

logistic regression 只能作出0或1的二值输出，而对于更多的分类logistic regression 无法胜任。这里提出softmax regression, 对输出k个值进行预测。
















总结：以前只知道logistic regression 和softmax regression 的用法，但是不理解其原理和来历，如今看到这里，就感觉顿时豁然开朗了！