机器学习之logistic回归
2017-06-28 00:30
176 查看
@(机器学习)[回归]
logistic回归模型采用logistic函数来将线性回归产生的预测值z=wTx+b转化为一个接近0或1的y值;
y=11+e−z(1)
由此得到logistic回归模型:
y=11+e−(wTx+b)(2)
假设我们的训练集是由m个已标记的样本构成:{(x(1),y(1)),⋯,(x(m),y(m)),},输入特征向量x(i)∈Rn+1。(我们约定其中x0=1对应截距项)。
我们将用于分类的函数称为假设函数(hypothesis function),logistic回归中的假设函数为:
hθ=11+e(−θTx)(3)
注意,(3)中的θ等价于[w;b]。
我们可以通过“极大似然法”(maximum likelihood method)来估计θ。不妨设:
P(y=1|x;θ)P(y=0|x;θ)=hθ(x)=1−hθ(x)(4)
那么有
P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(5)
似然函数为:
L(θ)=P(Y|X;θ)=∏i=1mP(y(i)|x(i);θ)=∏i=1m(hθ(x(i)))y(i)(1−hθ(x(i)))1−y(i)(6)
对数似然函数为:
l(θ)=logL(θ)=∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))(7)
我们将训练模型参数θ使其能够最小化代价函数:
J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))](8)
logistic回归
在《机器学习之线性回归模型》一章中,我们学习了如何使用线性模型进行回归学习。如果要将线性模型用来分类,就要用到该章结尾介绍的广义线性模型了。logistic回归模型采用logistic函数来将线性回归产生的预测值z=wTx+b转化为一个接近0或1的y值;
y=11+e−z(1)
由此得到logistic回归模型:
y=11+e−(wTx+b)(2)
假设我们的训练集是由m个已标记的样本构成:{(x(1),y(1)),⋯,(x(m),y(m)),},输入特征向量x(i)∈Rn+1。(我们约定其中x0=1对应截距项)。
我们将用于分类的函数称为假设函数(hypothesis function),logistic回归中的假设函数为:
hθ=11+e(−θTx)(3)
注意,(3)中的θ等价于[w;b]。
我们可以通过“极大似然法”(maximum likelihood method)来估计θ。不妨设:
P(y=1|x;θ)P(y=0|x;θ)=hθ(x)=1−hθ(x)(4)
那么有
P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(5)
似然函数为:
L(θ)=P(Y|X;θ)=∏i=1mP(y(i)|x(i);θ)=∏i=1m(hθ(x(i)))y(i)(1−hθ(x(i)))1−y(i)(6)
对数似然函数为:
l(θ)=logL(θ)=∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))(7)
我们将训练模型参数θ使其能够最小化代价函数:
J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))](8)
相关文章推荐
- 机器学习之Logistic回归(逻辑蒂斯回归)
- 机器学习入门-逻辑(Logistic)回归(1)
- 机器学习实战学习笔记(四):Logistic回归
- 机器学习之Logistic回归
- 机器学习实战之Logistic回归
- 机器学习-Logistic回归之梯度上升法
- Python语言描述机器学习之Logistic回归算法
- 机器学习逻辑回归:使用C++语言手工编写程序对a1a数据集进行Logistic分类
- 机器学习之Logistic回归(c语言实现)
- 机器学习之logistic回归的梯度上升算法
- 自学机器学习之logistic回归
- 读书笔记:机器学习实战【第5章:Logistic回归】
- 机器学习-Logistic回归之使用随机梯度上升算法预测病马死亡率
- 机器学习实战笔记之五(Logistic 回归)
- 机器学习之一:logistic回归分析(含Matlab代码)
- 机器学习之Softmax回归(Python实现)
- 机器学习入门:线性回归及梯度下降
- 机器学习实战线性回归局部加权线性回归笔记
- 八、机器学习系统设计笔记之对回归:改进的推荐
- 机器学习入门:线性回归及梯度下降