矩阵计算系列文章

matrix computation系列

矩阵计算又可称数值线性代数，主要是解决形如 Ax=b 的线性方程组。

下面列出目录，后续将逐一完成。如果大家对某一章节特别感兴趣，可以在下面留言，我优先考虑写该章节。

1. 矩阵的稳定性和条件数

本章主要介绍矩阵条件数的概念及其对线性方程组解的影响

2. 最小二乘法

overdetermined system,如何找到最佳拟合曲线。normal equation。

3. SVD分解

4. 特征值和特征向量

5. iterative methods

主要有：

* steepest descent

* conjugate gradient

* Jacobi iteration

* Gauss-Seidel iteration

* successive over-relaxation

* Newton’s method

番外篇

6. direct methods

主要有：

* Gauss elimination

* cholesky decomposition

* QR decomposition

7. matrix calculus

主要内容为：

* 标量对向量求导：dαdx⃗ 结果为向量；

* 向量对向量求导：f=Ax, dfdx⃗ 结果为矩阵A.

* 矩阵对向量求导

* etc……

本系列主要参考以下文章（书籍）：

matrix computation david watkins

numerical linear algebra Lloyd N. trefethen

An Introduction to the Conjugate Gradient Method Without the Agonizing Pain Edition 114. Jonathan Richard Shewchuk August 4, 1994

R. J. Barnes. Matrix differentiation. Department of Civil Engineering, university of Minnesota,2014