一般线性模型

指数分布族

形式：

应用：

1. logistic 回归：

logistics 回归其实是伯努利分布。p(y;θ)=θy∗(1−θ)1−yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)

伯努利分布是指数分布的一个特列：



其中：



η=log(θ1−θ)\eta = log(\frac\theta{1-\theta}) 因此：θ=11+e−η\theta = \frac1{1+e^{-\eta}}

2.梯度下降：

最小二乘法其实是高斯分布。



高斯分布是指数分布的一个特列：

y|x;θy|x;\theta ~ N(μ,σ2)N(\mu, \sigma^2) , 其中σ2\sigma^2是无关项，不妨另σ2=1\sigma^2 = 1



其中：

GLM模型建立

步骤：

1. 先建立指数分布模型，想用哪种分布去模拟

2.

写出T(y)T(y) 与 yy的关系式

预测函数hθ(x)=h_\theta(x) = EE{T(y)|x;θT(y)|x;\theta}

η=θTx\eta = \theta^Tx

logistic 回归：

准备用伯努利分布模拟，所以p(y;θ)=θy∗(1−θ)1−yp(y;\theta) = \theta^y * (1-\theta)^{1-y}，整理后：


所以我们有：

η=log(θ1−θ)\eta = log(\frac\theta{1-\theta}) 因此：θ=11+e−η\theta = \frac1{1+e^{-\eta}} , T(y)=yT(y) = y

根据上述步骤：预测函数hθ(x)=h_\theta(x) = EE{T(y)|x;θT(y)|x;\theta} = θ\theta = 11+e−η\frac1{1+e^{-\eta}}

由第三步知道：η=θTx\eta = \theta^Tx

因此：预测函数hθ(x)=h_\theta(x) = EE{T(y)|x;θT(y)|x;\theta} = θ\theta = 11+e−η\frac1{1+e^{-\eta}} = 11+e−θTx\frac1{1+e^{-\theta^Tx}}

由此我们得到了我们需要的预测函数：hθ(x)=11+e−θTxh_\theta(x) = \frac1{1+e^{-\theta^Tx}}，然后由最大似然法确定迭代式。

梯度下降（Linear Regression）

准备用高斯分布模拟，所以：



整理后我们有：

T(y)=yT(y) = y , η=μ\eta = \mu

所以预测函数：hθ(x)=h_\theta(x) = EE{T(y)|x;μT(y)|x;\mu} = μ\mu = η\eta

因为：η=θTx\eta = \theta^Tx，所以：hθ(x)=θTxh_\theta(x) = \theta^Tx

由此我们得到了我们需要的预测函数：hθ(x)=θTxh_\theta(x) = \theta^Tx，然后由最大似然法确定迭代式。

线性分类（Softmax Regression）

问题：

线性分类问题是logistic 回归的一个扩展，都是针对离散型结果，即分类问题。Softmax分类的Y值可以取{1, 2, 3, …… ,k} ,即有k中分类方式

模型建立：

p(y=i;θ)=θip(y=i; \theta) = \theta_i

上式整合：



因此：


求解该式子：


因此：


因为：η=θTx\eta =\theta^Tx ， 因此： ηi=θix\eta_i = \theta_i x， 其中我们可以知道θ\theta是一个K*N维矩阵。

所以：


预测函数hθ(x)h_\theta(x)：

迭代式子：

利用最大似然法：



然后利用梯度下降或Newton迭代法