矩阵乘法

谈起限定代数，无论如何我们也离不开下边这个让人又爱又恨方程——确切来说也可以叫做方程组。

Ax=b,\bf A \bf x= \bf b,

其中

A=⎡⎣⎢⎢⎢⎢⎢A11A21⋮Am1A12A22⋮Am2⋯⋯⋱⋯A1nA2n⋮Amn⎤⎦⎥⎥⎥⎥⎥,x=⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥andb=⎡⎣⎢⎢⎢⎢b1b2⋮bm⎤⎦⎥⎥⎥⎥.\mathbf {A}=\begin{bmatrix}
A_{11} & A_{12} & \cdots & A_{1n} \\
A_{21} & A_{22} & \cdots & A_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
A_{m1} & A_{m2} & \cdots & A_{mn}
\end{bmatrix} ,
\mathbf {x}=\begin{bmatrix}
x_{1} \\
x_{2} \\
\vdots \\
x_{n}
\end{bmatrix} \text{and} \quad
\mathbf {b}=\begin{bmatrix}
b_{1} \\
b_{2} \\
\vdots \\
b_{m}
\end{bmatrix} .

其实这就是一个我们在初中阶段就见过的多元一次方程组，如果方程个数/未知量个数不算太多的话，初中二年级我们就可以解这个东西。如果没记错的话，两种方法可以用：代入消元法与加减消元法。 但是初中阶段我们只是研究了这两种技能，并没有对这种结构的方程（组）做深层次的分析。并且这两种技能都只能解有唯一解的方程组，故当我们来到大学的时候，这个线性方程组披上了矩阵的外衣来继续折磨我们。

国内好的教材据说不多。加了“据说”是因为本人实在是不才，也没看过几本。所以我们索性直接用经典教材/课程吧，Gilbert Strang老爷子的课程MIT 18.06。本博客在这也就做一个一般的学习笔记用，希望各位大侠多多指教，多多提宝贵意见。

Lecture 1

先给一个简单的例子吧

2x−y=0−x+2y=32x-y=0\\-x+2y=3

也可以写成

[2−1−12]⋅[xy]=[03]. \begin{bmatrix}
2 & -1 \\
-1 & 2
\end{bmatrix}
\cdot
\begin{bmatrix}
x \\
y
\end{bmatrix}
=\begin{bmatrix}
0 \\
3
\end{bmatrix} .

这个方程组太简单了，初二就能解。但是我们这里先研究一下解的性质。

解其实是一个点，这个点其实就是直线2x−y=02x-y=0与−x+2y=3-x+2y=3的交点。当然了如果两条直线平行，没有交点，方程组也就没有解。两条直线重合，无数个交点，那也就无数个解，这些解都在这条直线上。

解其实是一组系数，可以看成是一个系数向量。该组系数可以使得向量[2−1]T[2 \quad -1]^T和[−12]T[-1\quad 2]^T的线性组合等于向量[03]T[0 3]^T，即

x[2−1]+y[−12]=[03]. x \begin{bmatrix}
2 \\
-1
\end{bmatrix} + y \begin{bmatrix}
-1 \\
2
\end{bmatrix}
=\begin{bmatrix}
0 \\
3
\end{bmatrix} .

上面这两种理解方式，在Gilbert老爷子的课程里面分别被称之为线性方程组的Row Picture和Column Picture。老爷子还给出了有3个未知数和3个方程的例子，用3×33 \times 3的矩阵和3维的向量对其进行了表述并给予该表述进行了分析。在本笔记中因为敲字实在太麻烦，我略过了，不过建议您还是好好看看。O(∩_∩)O~

关于方程组有没有解老爷子简单讨论了一下，但是没有给出非常具有普世性的性质。我们暂时也先不说。

Lecture 2

这节主要讲了讲消元法（Elimination）。暂时先不说，以后这部分的笔记应该会补上的。

Lecture 3

如果我们有

Ax=b,\bf A \bf x= \bf b,

那么b\bf b其实是其实是A\bf A中各个列向量的线性组合，系数向量为x\bf x。具体来说，即

x1⎡⎣⎢⎢⎢⎢A11A21⋮Am1⎤⎦⎥⎥⎥⎥+x2⎡⎣⎢⎢⎢⎢A12A22⋮Am2⎤⎦⎥⎥⎥⎥+⋯+xn⎡⎣⎢⎢⎢⎢A1nA2n⋮Amn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢b1b2⋮bm⎤⎦⎥⎥⎥⎥.x_1 \begin{bmatrix}
A_{11} \\
A_{21} \\
\vdots \\
A_{m1}
\end{bmatrix} + x_2
\begin{bmatrix}
A_{12} \\
A_{22} \\
\vdots \\
A_{m2}
\end{bmatrix}
+ \cdots + x_n
\begin{bmatrix}
A_{1n} \\
A_{2n} \\
\vdots \\
A_{mn}
\end{bmatrix}
=\begin{bmatrix}
b_{1} \\
b_{2} \\
\vdots \\
b_{m}
\end{bmatrix} .

相似的，如果我们有

yTA=cT,\bf y^T \bf A = \bf c^T,

那么cT\bf c^T其实是其实是A\bf A中各个行向量的线性组合，系数向量为y\bf y。具体来说，即

y1[A11A12⋯A1n]+ y2[A21A22⋯A2n]+ ⋯+ y1[A11A12⋯A1n]=[c1c2⋯cn].\begin{align*}
\begin{array}{l}
\quad y_1[A_{11} \quad A_{12} \quad \cdots \quad A_{1n} ] \\
+ \ y_2[A_{21} \quad A_{22} \quad \cdots \quad A_{2n} ] \\
+ \ \cdots \\
+ \ y_1[A_{11} \quad A_{12} \quad \cdots \quad A_{1n} ]
\end{array}
\quad = \quad [c_1 \quad c_2 \quad \cdots \quad c_n].
\end{align*}

需要注意的是，这里的c\bf c的维度与上一个例子中的b\bf b不同；y\bf y的维度与x\bf x也不同。