机器学习基础-学习笔记 矩阵论

矩阵论

矩阵表示

在实数域上，大小为n*m的矩阵的集合可以表示为:

M(Rn∗m=A:A∈Rn∗m)

因此，(M(Rn∗m),R)) 可作为线性空间，他们的距离distance(A, B) 满足非负性，对称性和三角不等式性。

范式

奇异值

通常，可以通过定义范式的形式来诱导距离,常用的范数有: ∀A∈M(Rn∗m)

||A||1=max{∑i=1n|Ai,1|,∑i=1n|Ai,2|,⋯,∑i=1n|Ai,m|}

||A||2=A的最大奇异值

||A||F=(∑i=1n∑j=1m(A2i,j)12)

||A||∞=max{∑j=1m|A1,j|,∑j=1m|A2,j|,⋯,∑j=1m|An,j|}

||A||1,2=∑i=1n(∑j=1m(Ai,j)2)12

||A||2,1=(∑i=1n(∑j=1m|Ai,j|)2)12

在实际的信号处理过程中，无论是构建损失项还是正则项，每一种范数都有其特定的物理意义，反映着数据的分布类型，或者蕴含着数据的先验特性。

通过范式诱导得到距离（距离空间），进而得到临近关系（邻域特性），根据这种关系就可以将线性空间（非线性变换可以通过线性变换的逼近来得到）进行剖分，当然剖分的子空间个数取决于邻域的半径。

矩阵的倒数的求解通常在机器学习中较为常用，如参数更新时所依赖的梯度的计算等。

假设对于输入信号x，输出信号y，之间的线性映射关系为

f(X)≜A⋅x+b≈y

其中A为投影矩阵，b为偏置项（其中A和b都可以为矩阵）。通常利用L2 范数来定义损失函数。

Loss(x,y)=12||A⋅x+b−y||22

其中待学习的参数为(A,b)。

过拟合现象

指数据样本量相比参数量而言较多，导致训练得到的模型十分依赖于该数据集，使得该模型的测试性能或者预测性能比较差，即在另一个数据集上的表现较差（需要说明的是这二个数据集的分布方式相同）。

矩阵的奇异值分解

对于任意一个矩阵A∈Rn∗m，都有如下的表达式。

A=U⋅∑⋅VT

UT⋅U=In

V⋅VT=Im

其中, ∑ 为对角矩阵，且 U∈Rn∗m 和 V∈Rn∗m。

主成分分析

用到了矩阵的奇异值分解，通过奇异值的排序和信息利用率达到85%以上的准则确定主成分的个数。

通常，主成分分析是一种线性的降低纬度的方法。使用矩阵的奇异值分解的核心是逼近的思想，可以通过调整对角矩阵 ∑ 中的值来实现对矩阵A的刻画。