机器学习笔记_回归_1:线性回归

线性回归的定义

回归： 变量间的统计关系

古典回归模型的假设

1. 解释变量x1,⋯,xpx_1,\cdots,x_p是非随机变量，对应的观测值是常数

2. 等方差，且不相关（Guass-Markov）：

{E(ϵi)cov(ϵi,ϵj)=0=σ2,(i=j)；0 (i≠j); (i,j=1,2,...,n)\begin{equation}
\left\{
\begin{aligned}
E(\epsilon_i) &=0\\
cov(\epsilon_i,\epsilon_j) &=\sigma^2,(i=j)； 0 \ (i\neq j); \ (i,j=1,2,...,n)
\end{aligned}
\right.
\end{equation}

3. n>pn>p 样本个数多于解释变量个数

一元线性模型

y=β0+β1x+εy=\beta_0+\beta_1x+\varepsilon

ε\varepsilon是随机变量； 且E(ε)=0;var(εi)=σ2E(\varepsilon)=0; var(\varepsilon_i)=\sigma^2

yy为独立随机变量，不同分布；

ε\varepsilon为独立随机变量，同分布;

回归方程: E(y|x)=β0+β1x \quad E(y|x) = \beta_0 +\beta_1x

=> 从平均意义表达了y与x的统计规律

多元线性模型

最小二乘估计

观测样本：(xi,yi);hθ(x)=∑i=0mθixi=θTx(x_i,y_i); \quad h_{\theta}(x)=\sum\limits_{i=0}^{m} \theta_ix_i=\theta^Tx

目标函数: J(θ)=12∑i=1m(hθ(x(i)−yi))J(\theta)=\frac{1}{2}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)}-y^i))

假设条件: 噪声为均值=0的高斯分布下；

最大似然估计和最小二乘

噪声为正态分布 N(0,σ2)N(0,\sigma^2)

p(ε(i))=12π√σexp(−(ε(i))22σ2)p(\varepsilon^{(i)})=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(\varepsilon^{(i)})^2}{2\sigma^2})

=>=> p(y(i)|x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2)p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta ^Tx^{(i)})^2}{2\sigma^2})

=>=> 似然函数：

L(θ)=∏i=1mp(y(i)|x(i);θ)=∏i=1m12π√σexp(−(y(i)−θTx(i))22σ2)L(\theta)=\prod\limits_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta)=\prod\limits_{i=1}^{m}\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta ^Tx^{(i)})^2}{2\sigma^2})

=>=> l(θ)=logL(θ)=log∏i=1m12π√σexp(−(y(i)−θTx(i))22σ2)=∑i=1mlog12π√σexp(−(y(i)−θTx(i))22σ2)=mlog12π√σ−1σ2∗12∑i=1m(yi−θTx(i))2l(\theta)=logL(\theta)=log\prod\limits_{i=1}^{m}\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta ^Tx^{(i)})^2}{2\sigma^2})=\sum\limits_{i=1}^{m}log\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta ^Tx^{(i)})^2}{2\sigma^2})\\=mlog\frac{1}{\sqrt{2\pi}\sigma}-\frac{1}{\sigma^2}*\frac{1}{2}\sum\limits_{i=1}^{m}(y^i-\theta^Tx^{(i)})^2

<=><=> 最大似然和最小二乘等价

最小二乘估计的性质

线性回归：线性函数

无偏性： E(θ^)=θE( \hat{\theta})=\theta

均方误差: MSE(θ^)=E[(θ^−θ)2]MSE(\hat{\theta})=E[(\hat{\theta}-\theta)^2]

若是无偏估计则： MSE(θ^)=Var(θ^)MSE(\hat{\theta})=Var(\hat{\theta})

最小二乘为BLUE(最好线性无偏估计量)