最小二乘法的概率依据是什么？

最小二乘法的cost function是J(θ)=∑mi=0(hθ(xi)−yi)2。输入x，输出y，模型hθ(x)。

y=hθ(x)+ϵ

ϵ代表偶然的事件，假设符合正太分布ϵ~N(0,1)，ϵ的概率分布为p(ϵ)=12π√e−ϵ22。

y~N(hθ(x),1)。then the probability of y given x paramized by θ is: p(y|x;θ)=12π−−√e−(h(i)θ−y(i))22the joint likelihood is L(θ)=L(y|x;θ)=∏mi=1p(yi|xi;θ)，最大化这个值。就是最小化J(θ).