独立成分分析 ( ICA ) 与主成分分析 ( PCA )再解析

ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的是一个解混过程。而PCA是一个信息提取的过程，依据贡献度大小，将原始数据降维，现已成为ICA将数据标准化的预处理步骤。这里蕴含着独立必不相关，因而先做一个PCA。PCA是协方差矩阵为对角阵，因而数据是不相关的。

1.感受一

PCA和ICA的用途完全不同。如果只在意数据的能量或方差、假设噪声或不感兴趣的信号都比较微弱，那么用PCA就能把主要信号留下来。在某种意义上，ICA更智能——它不在意信号的能量或方差，只看独立性。所以给定的待分析的混合信号经任意的线性变换都不会影响ICA的输出结果，但会严重影响PCA的结果。

2.感受二

若多于一个原始独立信号是正态的，那么ICA的结果不唯一；下面给个直觉。若数据在两个正交方向方差相同（比如协方差是isotropic的），PCA结果不唯一。大部分算法都用两步来实现ICA：第一步做白化预处理（whitening），让输出信号不相关而且同方差。第二步找一个旋转（就是正交变换）让输出信号不只不相关（uncorrelated），进而在统计意义上独立（statistically
independent）。为简单起见，考虑两维的情况。

如果原始独立信号都是正态的，第一步后输出信号的联合分布如下图：



那么你可以看到，不管怎样旋转，输出的两个信号（在横坐标以及纵坐标上的投影）都是独立的。

非高斯分布下情况就不同了。在下图中，原始独立的信号都是超高斯的，可以看到白化预处理后的输出虽然不相关，但并不独立：



而若想让旋转之后的输出独立，只能旋转到如下位置（或者相差90度的倍数，对应于输出信号的次序或者正负号的变化）：



类似的，如果原始独立信号是均匀分布的，第二步就需要从图一旋转到图二：





这样就直觉上了解了为什么ICA需要假设原始独立信号的非高斯分布之后才有意义！！！

3.感受三

ICA只是让输出信号尽量独立，实际应用中因种种因素，比如噪声影响、非线性因素、太多源信号的影响等等，输出往往不是完全独立。这时很多情况下ICA的输出还是包含了主要的独立的成分，是有意义的。

总的来说，不相关是非常一种弱的独立性（线性独立性），一般必须配合别的性质使用才能得出唯一的结果：在PCA里就配合了能量或方差最大这个性质。而一般情况下独立性比不相关强了很多，在一定条件下，强到了足以把数据的产生过程恢复出来的地步。

4.总结

更进一步，每当我们做回归（regression），不管是线性回归还是非线性回归，噪声和predictor都是不相关的。但很多情况下，它们却不是独立的！！！。这个性质最近十年内在因果关系分析中得到很重要的应用。

参考文献：

[1] A. Hyva ̈rinen, J. Karhunen, and E. Oja, Independent Component Analysis, Wiley-Interscience, New York, 2001

[2] J.-F. Cardoso, “Blind signal separation: statistical principles”, Pro- ceedings of the IEEE, vol. 90, n. 8, pp. 2009-2026, October 1998.

[3] A. Hyva ̈rinen and E. Oja, ”A Fast Fixed-Point Algorithm for Inde- pendent Component Analysis”. Neural Computation, 9(7):1483-1492, 1997.

[4] A. Hyva ̈rinen, “Fast and Robust Fixed-Point Algorithms for Inde- pendent Component Analysis”. IEEE Trans. on Neural Networks, 10(3):626-634, 1999.