您的位置：首页 > 其它

机器学习的数学基础-（二、线性代数）

2020-01-15 09:13 323 查看

二、线性代数

行列式

1.行列式按行（列）展开定理

(1) 设，则：

或，即，

其中：

(2) 设为阶方阵，则，但不一定成立。

(3) , 为阶方阵。

(4) 设为阶方阵，（若可逆），

(5) $\left| \begin{matrix} & {A\quad O} \\ & {O\quad B} \\ \end{matrix} \right| = \left| \begin{matrix} & {A\quad C} \\ & {O\quad B} \\ \end{matrix} \right| = \left| \begin{matrix} & {A\quad O} \\ & {C\quad B} \\ \end{matrix} \right| =| A||B|$
，为方阵，但。

(6) 范德蒙行列式

设是阶方阵，是的个特征值，则

矩阵

矩阵：个数排成行列的表格 $\begin{bmatrix} a_{11}\quad a_{12}\quad\cdots\quad a_{1n} \\ a_{21}\quad a_{22}\quad\cdots\quad a_{2n} \\ \quad\cdots\cdots\cdots\cdots\cdots \\ a_{m1}\quad a_{m2}\quad\cdots\quad a_{{mn}} \\ \end{bmatrix}$ 称为矩阵，简记为，或者。若，则称是阶矩阵或阶方阵。

矩阵的线性运算

1.矩阵的加法

设 , 是两个矩阵，则矩阵称为矩阵与的和，记为。

2.矩阵的数乘

设是矩阵，是一个常数，则矩阵称为数与矩阵的数乘，记为。

3.矩阵的乘法

设是矩阵，是矩阵，那么矩阵，其中称为的乘积，记为。

4. 、、三者之间的关系

(1)

(2) $\left( A^{- 1} \right)^{- 1} = A,\left( {AB} \right)^{- 1} = B^{- 1}A^{- 1},\left( {kA} \right)^{- 1} = \frac{1}{k}A^{- 1}$
但不一定成立。

(3) ，

但不一定成立。

(4) ${(A^{- 1})}^{T} = {(A^{T})}^{- 1},\ \left( A^{- 1} \right)^{*} ={(AA^{*})}^{- 1},{(A^{*})}^{T} = \left( A^{T} \right)^{*}$

5.有关的结论

(1)

(2)

(3) 若可逆，则

(4) 若为阶方阵，则：

6.有关的结论

可逆

可以表示为初等矩阵的乘积；。

7.有关矩阵秩的结论

(1) 秩 =行秩=列秩；

(2)

(3)

(4)

(5) 初等变换不改变矩阵的秩

(6) ，特别若
则：

(7) 若存在若存在，。

(8) 只有零解

8.分块求逆公式

；；

；

这里，均为可逆方阵。

向量

1.有关向量组的线性表示

(1) 线性相关至少有一个向量可以用其余向量线性表示。

(2) 线性无关，，线性相关可以由唯一线性表示。

(3) 可以由线性表示
。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ① 个维向量线性无关，

个维向量线性相关
。

② 个维向量线性相关。

③ 若线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1) 线性相关至少有一个向量可以用其余向量线性表示。

(2) 线性无关，，线性相关可以由唯一线性表示。

(3) 可以由线性表示

4.向量组的秩与矩阵的秩之间的关系

设，则的秩与的行列向量组的线性相关性关系为：

(1) 若，则的行向量组线性无关。

(2) 若，则的行向量组线性相关。

(3) 若，则的列向量组线性无关。

(4) 若，则的列向量组线性相关。

5. 维向量空间的基变换公式及过渡矩阵

若与是向量空间的两组基，则基变换公式为：

$(\beta_{1},\beta_{2},\cdots,\beta_{n}) = (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})\begin{bmatrix} c_{11}& c_{12}& \cdots & c_{1n} \\ c_{21}& c_{22}&\cdots & c_{2n} \\ \cdots & \cdots & \cdots & \cdots \\ c_{n1}& c_{n2} & \cdots & c_{{nn}} \\\end{bmatrix} = (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})C$

其中是可逆矩阵，称为由基到基的过渡矩阵。

6.坐标变换公式

若向量在基与基的坐标分别是
，即：，则向量坐标变换公式为或，其中是从基到基的过渡矩阵。

7.向量的内积

8.Schmidt正交化

若线性无关，则可构造使其两两正交，且仅是的线性组合，再把单位化，记，则是规范正交向量组。

其中，，，

............

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

线性方程组

1．克莱姆法则

线性方程组 $\begin{cases} a_{11}x_{1} + a_{12}x_{2} + \cdots +a_{1n}x_{n} = b_{1} \\ a_{21}x_{1} + a_{22}x_{2} + \cdots + a_{2n}x_{n} =b_{2} \\ \quad\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots \\ a_{n1}x_{1} + a_{n2}x_{2} + \cdots + a_{{nn}}x_{n} = b_{n} \\ \end{cases}$ ，如果系数行列式，

则方程组有唯一解，，其中是把中第列元素换成方程组右端的常数列所得的行列式。

2. 阶矩阵可逆只有零解。总有唯一解，一般地，只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设为矩阵，若，则对而言必有，从而有解。

(2) 设为的解，则当时仍为的解；但当时，则为的解。特别为的解；为的解。

(3) 非齐次线性方程组无解不能由的列向量线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是，解空间的一组基称为齐次方程组的基础解系。

(2) 是的基础解系，即：

1) 是的解；

2) 线性无关；

3) 的任一解都可以由线性表出。
是的通解，其中是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设是的一个特征值，则有一个特征值分别为且对应特征向量相同（例外）。

(2)若为的个特征值，则 ,从而没有特征值。

(3)设为的个特征值，对应特征向量为，

若: ,

则: 。

2.相似变换、相似矩阵的概念及性质

(1) 若，则
1)

3) ，对成立

3.矩阵可相似对角化的充分必要条件

(1)设为阶方阵，则可对角化对每个重根特征值，有

(2) 设可对角化，则由有，从而

(3) 重要结论

1) 若，则。

2) 若，则，其中为关于阶方阵的多项式。

3) 若为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩( )

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设为两个阶方阵，如果存在一个可逆矩阵，使得成立，则称矩阵与相似，记为。

(2)相似矩阵的性质：如果则有：

2) （若，均可逆）

3) （为正整数）

4) ，从而有相同的特征值

5) ，从而同时可逆或者不可逆

6) 秩秩，不一定相似

二次型

1. 个变量的二次齐次函数

，其中，称为元二次型，简称二次型. 若令 $x = \ \begin{bmatrix}x_{1} \\ x_{1} \\ \vdots \\ x_{n} \\ \end{bmatrix},A = \begin{bmatrix} a_{11}& a_{12}& \cdots & a_{1n} \\ a_{21}& a_{22}& \cdots & a_{2n} \\ \cdots &\cdots &\cdots &\cdots \\ a_{n1}& a_{n2} & \cdots & a_{{nn}} \\\end{bmatrix}$ ,这二次型可改写成矩阵向量形式。其中称为二次型矩阵，因为，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵的秩称为二次型的秩。