数据分析处理之PCA OLSR PCR PLSR(NIPALS)及其Matlab代码实现
传统的OLS(普通最小二乘)方法无法解决样本数据的共线性(multicollinearity)问题,如果你的数据样本中每个特征变量具有共线性,那么使用基于PCA的PCR和PLSR方法对数据样本进行回归建立模型将会是一个不错的选择。PCA是一种数据降维方式,但同时保持了原始数据降维后的特性;PCR是在降维后的数据(英文里常称为score)上进行OLSR(普通最小二乘回归),然后将回归系数矩阵转化到原始空间;PLSR则可以看成改进版的PCR,该方法通过X和Y数据集的交叉投影方法使得回归模型兼顾到了X和Y数据集的本质关联,同时相比于PCR,在使用少数主成分的情况下具有更好的预测结果。
本文所有测试用数据集均来自Matlab,并使用Matlab封装的回归方法,对自己实现的代码做了验证,本文参考文献及资料如下:
Reference:
[1] GELADI P, KOWALSKI B R. Partial least-squares regression: a tutorial [J]. Analytica chimica acta, 1986, 185(1-17).
[2] WU F Y, ASADA H H. Implicit and intuitive grasp posture control for wearable robotic fingers: A data-driven method using partial least squares [J]. IEEE Transactions on Robotics, 2016, 32(1): 176-86.
[3] https://en.wikipedia.org/wiki/Ordinary_least_squares
[4] https://en.wikipedia.org/wiki/Principal_component_analysis
[5] https://en.wikipedia.org/wiki/Principal_component_regression
[6] https://en.wikipedia.org/wiki/Partial_least_squares_regression
完整Matlab代码实现: https://github.com/ShieldQiQi/PCA-PCR-PLSR-Matlab-code
一、OLSR
即为普通最小二乘回归,对此我们应该十分熟悉,各种大物材料力学实验都会用到这种方法,只不过我们当时使用的单变量的数据,当数据集涉及到矩阵,多维变量的形式时,就需要使用更加普遍适用的模型,我们设原始数据自变量(independent value)矩阵为$ X∈R_{n{\times}m} $,即X数据集含有n个样本,每个样本有m个特征变量;设原始数据因变量(dependent value)矩阵为$ Y∈R_{n{\times}p} $,即Y数据集含有n个样本,每个样本有p个特征变量。构建的最小二乘回归模型为:
$$ Y=X{\cdot}B+E \tag{1} $$
上式中$ B∈R_{m{\times}p} $为回归模型的系数矩阵,$ E∈R_{n{\times}p} $为模型预测的残差。B的通用解法参考维基百科,为:
$$ B=(X^{T}X)^{-1}X^{T}Y \tag{2} $$
二、PCA
PCA本质上是一种建立一种维度小于原始数据维度(特征变量数)正交基底空间,将原始数据投影到新的低维空间,以达到数据降维而保持原有特性的方法。PCA的步骤为:
1.对原始数据进行列居中处理: X(:,j) = X(:,j) - mean(X(:,j))
2.计算协方差矩阵$ X^{T}X $的前num大个特征值和对应的特征向量(此处num即为我们需要使用的主成分个数)
3.取前num个特征向量(作为列向量)组成系数矩阵P
4.通过公式 $ T=XP $ 即可求得在新空间下的降维后的(原来维度为m,降维后为num)数据矩阵T,英文里称为score,P称为loading
至于为什么这样做,PCA的原理可以参考维基百科,或者我的这篇博文: https://www.cnblogs.com/QiQi-Robotics/p/14303718.html
在实际应用中,计算协方差矩阵的特征向量常采用迭代计算的方式,常用的方法为NIPALS,Matlab精简代码(Matlab使用的为散布矩阵,而我的代码为协方差矩阵,所以特征值会相差(n-1)倍)实现如下:
% 迭代得到num个成份 for h = 1:num % step(1) % --------------------------------------------------------------------- % 取T(:,h)为任意一个X_centered中的列向量,此处直接取第一列 T(:,h) = X_iteration(:,1); % step(2) to step(5) % 迭代直到收敛到容忍度内的主成分 while(1) P(:,h) = X_iteration'*T(:,h)/(T(:,h)'*T(:,h)); % 归一化P(:,h) P(:,h) = P(:,h)/sqrt(P(:,h)'*P(:,h)); t_temp = T(:,h); T(:,h) = X_iteration*P(:,h)/(P(:,h)'*P(:,h)); % 检查当前T(:,h)与上一步T(:,h)是否相等以决定是否继续迭代 if max(abs(T(:,h)-t_temp)) <= tolerance % 存储按顺序排列的特征值 % 注意此处的特征值为协方差矩阵的特征值,而matlab PCA方法使用的为散布矩阵(离散度矩阵),故后者的特征值为前者的(n-1)倍 eigenValues(h) = P(:,h)'*(X_centered'*X_centered)*P(:,h); break; else end end % 计算残差,更新数据矩阵 % --------------------------------------------------------------------- X_iteration = X_iteration - T(:,h)*P(:,h)'; end
三、PCR
PCR使用的回归方法是OLSR,只不过回归的模型是建立在主成分空间,以防止原始数据的共线性问题导致模型建立不准确,步骤如下:
1.执行PCA对原始数据进行降维处理
2.对新数据矩阵T(score)(选多少列,就是利用多少个主成分)和居中(mean-centered)后的Y建立OLSR回归模型,得到主成分空间中的回归系数矩阵$ B^{'} $
3.最终原始空间的系数矩阵$ B=P{\cdot}B^{'} $,该步可以将 $ T=XP $ 代入到式(1)中推导而得(利用$ PP^{T}=E $)
4.当我们需要回归新的到的数据X*时,将该数据对减去原始模型数据X的均值,代入到回归模型,得到预测的$Y^{'}$,然后该矩阵加上原始模型数据Y的均值即为最终的结果
Matlab精简代码如下:
% 定义测试集样本的数量 r = n; % 将原始数据降维到主成分空间(T)后,使用OLS最小二乘回归获取系数矩阵 B_inPca = inv(T'*T)*T'*Y_centered; %B_inPca = regress(Y-mean(Y), T(:,1:num)); % 将系数矩阵从主成分空间转化到原始空间 B_estimated = P*B_inPca; % 定义测试集,此处直接使用原始数据的前r行 X_validate = zeros(r,m); % 对原始数据集居中列平均化 for j = 1:m % 注意,此处减去的平均值应该为模型数据集的平均值,而非新数据的平均值 X_validate(:,j) = X(1:r,j) - mean(X(:,j)); end Y_estimated = X_validate*B_estimated; for i = 1:p % 注意此处最终的输出需要加上数据集Y的均值 Y_estimated(:,i) = Y_estimated(:,i) + mean(Y(:,i)); end
四、PLSR
PLSR相对于PCR的一个优点在于在使用更少的主成分可以获得更具有鲁棒性的预测结果(具体可以查看Matlab中关于PLSR的帮助文档),具体步骤查阅论文 [1]。精简版Matlab代码如下:
1.建立模型部分
% 迭代得到num个成份 for h = 1:num % step(1) % --------------------------------------------------------------------- % 取u_h为任意一个Y_centered中的列向量,此处直接取第一列 U(:,h) = Y_centered(:,1); % step(2) to step(8) % --------------------------------------------------------------------- while 1 % 在数据矩阵X_centered中 W(:,h) = X_centered'*U(:,h)/(U(:,h)'*U(:,h)); % 对数据进行归一化 W(:,h) = W(:,h)/sqrt(W(:,h)'*W(:,h)); t_temp = T(:,h); T(:,h) = X_centered*W(:,h)/(W(:,h)'*W(:,h)); % 在数据矩阵Y_centered中 Q(:,h) = Y_centered'*T(:,h)/(T(:,h)'*T(:,h)); % 对数据进行归一化 Q(:,h) = Q(:,h)/sqrt(Q(:,h)'*Q(:,h)); U(:,h) = Y_centered*Q(:,h)/(Q(:,h)'*Q(:,h)); % 检查T(:,h)与T(:,h)的前一步是否相等,若小于某个数值则该PLS成份迭代完成,否则返回继续迭代 if max(abs(T(:,h)-t_temp)) <= tolerance break; else end end % step(9) to step(13) % --------------------------------------------------------------------- P(:,h) = X_centered'*T(:,h)/(T(:,h)'*T(:,h)); % 对数据进行归一化 p_norm = sqrt(P(:,h)'*P(:,h)); P(:,h) = P(:,h)/p_norm; T(:,h) = T(:,h)*p_norm; W(:,h) = W(:,h)*p_norm; B(h) = U(:,h)'*T(:,h)/(T(:,h)'*T(:,h)); % 计算残差,更新数据矩阵 % --------------------------------------------------------------------- X_centered = X_centered - T(:,h)*P(:,h)'; Y_centered = Y_centered - B(h)*T(:,h)*Q(:,h)'; end
2.预测部分
% 对原始数据集居中列平均化 for j = 1:m % 注意,此处减去的平均值应该为模型数据集的平均值,而非新数据的平均值 X_validate(1:r,j) = X(1:r,j) - mean(X(:,j)); end % 计算预测的T for h = 1:num T_est(:,h) = X_validate*W(:,h); X_validate = X_validate - T_est(:,h)*P(:,h)'; end % 计算预测的Y for h = 1:num Y_estimated = Y_estimated + B(h)*T_est(:,h)*Q(:,h)'; end for i = 1:p % 注意此处最终的输出需要加上数据集Y的均值 Y_estimated(:,i) = Y_estimated(:,i) + mean(Y(:,i)); end
五、实验结果
图1 Matlab PLSR算法(SIMPLS)和自定义PLSR(NIPALS)方法效果对比
- 主成分分析(PCA)及其MATLAB的实现方法
- 大数据Spark“蘑菇云”行动第55课:在线广告点击流处理代码的分析和实现
- 人脸识别中用主成分分析PCA来将数据降维--MATLAB代码
- 五、图像处理之几何变换:最近邻域插值、双线性插值、双立方(三次卷积)插值的原理分析及其代码实现
- matlab实现主成分分析代码
- 高维数据的应对手段: 主成分分析(PCA)简介+numpy实现+weka使用说明
- PCA(Principal Component Analysis 主成分分析)原理及MATLAB实现
- 素数判断的几种方法代码实现及其复杂度分析
- 数据分析与处理之二(Leveldb 实现原理)
- 数据结构 - 线性表(顺序表)C语言代码实现-处理整型数据(附详细解释)。 _清风明月
- 主成分分析(PCA)Python代码实现
- 卡尔曼滤波简介及其算法实现代码(C++/C/MATLAB)
- 大规模数据处理Bloom Filter C++代码实现
- [机器学习笔记]主成分分析PCA简介及其python实现
- java实现网上在线支付--09,10,11,12_分析易宝支付网关的应答协议与处理代码,完成用于处理支付响应的Servlet的初步编写和调试,完成处理支付网关响应结果的Servlet,支付实现
- java代码实现highchart与数据库数据结合完整案例分析(一)---饼状图
- 数据分析与处理 -- Leveldb 实现原理
- servlet 处理登陆表单数据(数据库)主要代码实现
- 【转】数据分析与处理之二(Leveldb 实现原理)
- Radon变换及其Matlab代码实现