机器学习（四）正规方程求解线性回归问题、正规方法与梯度法的优劣

本文由 @lonelyrains 出品，转载请注明出处。 
文章链接： http://blog.csdn.net/lonelyrains/article/details/48949159

除了梯度向量法，

求解最小J（θ）也是可行的，但是偏微分方程太过复杂。
经数学证明，运用线性代数的公式，直接求解代价函数J（θ）最小时，特征向量θ的取值。 公式为：



正规方程方法与梯度向下方法的优劣

1、优点：

1）前者不需要迭代，不存在无法收敛的问题

2）前者不需要选取初始α

2、缺点：

1）特征向量的维度n，正规方法的算法复杂度大约为O(n^3)。当n较大时，前者比较慢

例如在特征数量n很小时，比如小于1000，使用正规方法求解θ比较快。当n>10000甚至x>10^6时，可能考虑使用梯度下降法