机器学习笔记_ 降维_2：PCA

矩阵相关

正交矩阵： Q∈Rn∗nQ \in R^{n*n}, QQT=QTQ=IQQ^T=Q^TQ=I

QT=Q−1Q^T=Q^{-1}

Q=[q1,...,qn]的列组成标准正交组Q=[q_1,...,q_n]的列组成标准正交组

特征值和特征向量

λ1,⋯,λm是方阵A的m个特征向量，p1,⋯,pm是依次对应的特征向量，若λ1,⋯,λm各不相同，则p1,⋯,pm线性无关\lambda_1,\cdots,\lambda_m是方阵A的m个特征向量，p_1,\cdots,p_m是依次对应的特征向量，若\lambda_1,\cdots,\lambda_m各不相同，则p_1,\cdots,p_m线性无关

实对称矩阵

协方差矩阵，二次型矩阵，无向图的邻接矩阵等都是对称矩阵

实对称阵的特征值是实数

实对称阵的不同特征值的特征向量正交

设A是n阶对称矩阵，则必有正交阵p，使得

P−1AP=PTAP=ΛP^{-1}AP=P^TAP=\Lambda=>合同变换，A和Λ互为合同矩阵A和\Lambda互为合同矩阵

A和B都是n阶矩阵，若有可逆矩阵P，

p−1AP=Bp^{-1}AP=B

则A和B是相似矩阵

协方差=随机变量的变换趋势；

Cov(x,y)>0,变化趋势相同

Cov(x,y)>0,x和y不想关

Cov(x,y)>0,变化趋势相反

协方差矩阵：

cij=E{[Xi−E(Xi)][Xj−E(Xj)]}=Cov(Xi,Xj)c_{ij}=E\{[X_i-E(X_i)][X_j-E(X_j)]\}=Cov(X_i,X_j)

PCA：样本点投影方向的方差最大

设n个特征的m个样本，矩阵A∈Rm∗nA \in R^{m*n}

A=⎡⎣⎢⎢⎢⎢a11a21⋮am1a11a22⋮am2⋯⋯⋮⋯a1na2n⋮amn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢aT1aT2⋮aTm⎤⎦⎥⎥⎥⎥⎥\begin{equation}
A=\left[
\begin{matrix}
a_{11}&a_{11}&\cdots&a_{1n}\\
a_{21}&a_{22}&\cdots&a_{2n}\\
\vdots&\vdots&\vdots&\vdots\\
a_{m1}&a_{m2}&\cdots&a_{mn}\\
\end{matrix}
\right]=\left[
\begin{matrix}
a_{1}^T\\
a_2^T\\
\vdots\\
a_m^T
\end{matrix}
\right]
\end{equation}

设单位向量u(u的模是1)

A=⎡⎣⎢⎢⎢⎢a11a21⋮am1a11a22⋮am2⋯⋯⋮⋯a1na2n⋮amn⎤⎦⎥⎥⎥⎥∗u=⎡⎣⎢⎢⎢⎢⎢aT1aT2⋮aTm⎤⎦⎥⎥⎥⎥⎥∗u=⎡⎣⎢⎢⎢⎢⎢aT1∗uaT2∗u⋮aTm∗u⎤⎦⎥⎥⎥⎥⎥\begin{equation}
A=\left[
\begin{matrix}
a_{11}&a_{11}&\cdots&a_{1n}\\
a_{21}&a_{22}&\cdots&a_{2n}\\
\vdots&\vdots&\vdots&\vdots\\
a_{m1}&a_{m2}&\cdots&a_{mn}\\
\end{matrix}
\right]*u=\left[
\begin{matrix}
a_{1}^T\\
a_2^T\\
\vdots\\
a_m^T
\end{matrix}
\right]*u=\left[
\begin{matrix}
a_{1}^T*u\\
a_2^T*u\\
\vdots\\
a_m^T*u
\end{matrix}
\right]
\end{equation}

求上述AuAu的方差(计算中对Au去均值化,Au减去均值，除以标准差做归一化，这样可以使得E(Au)=0)

Var(Au)=Var(aT1u,⋯,aTmu)T=∑i=1m(aTiu−E(Au))2Var(Au)=Var(a_1^Tu,\cdots,a_m^Tu)^T=\sum\limits_{i=1}^{m}(a_i^Tu-E(Au))^2 (协方差矩阵)

因为E(Au)=0<去均值化>

=(Au)T(Au)=uTATAu=(Au)^T(Au)=u^TA^TAu

令方差为λ\lambda

UTATAu=λ=>uuTATAu=uλU^TA^TAu=\lambda=>uu^TA^TAu=u\lambda

=>

ATAu=λuA^TAu=\lambda u

其中ATA是协方差矩阵A^TA是协方差矩阵

令u1设置为与具有最大特征值\ambda1\ambda_1 的特征向量时，方差会达到最大，第一主成分

λ\lambda的大小是原始观测数据的特征在向量u的方差方向上的投影值的方差大小

核心

主成分就是需找x的线性函数，aTx,是其相应的方差最大，即Var(aTx)=aTΣa最大，且aTa=1,Σ是协方差x的线性函数，a^Tx,是其相应的方差最大，即Var (a^Tx)=a^T\Sigma a最大，且 a^Ta=1, \Sigma是协方差

前m个主成分不少于80%