主成分分析学习笔记

PCA主成分分析详解

https://wenku.baidu.com/view/97b26169650e52ea5418986f.html?from=search

https://wenku.baidu.com/view/e7176f29581b6bd97e19ea1b.html

https://wenku.baidu.com/view/c001d50d9b89680202d82587.html主成分分析与因子分析

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

笔记正文：

主成分分析的实质：

降维，即用较少的变量来代替原来较多的变量（由于多个变量之间存在着一定程度的相关性，可利用原始变量的线性组合形成几个综合指标）。

作用：

处理多变量（多指标）问题，减少分析问题的复杂性。

理论基础：

最大方差理论（信号方差》噪声方差）、最小错误理论（投影到直线距离最小）和坐标轴相关度理论。

PCA技术的很大有点是无参数限制，计算过程中完全不需要人为的设定参数或者是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的。但是这一点同时也可以看作是缺点，如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。

另外，有时数据的分布并不是满足高斯分布，在非高斯分布的情况下，PCA方法得出的主元可能并不是最优的。比如十字星状的分布，在寻找主元时不能将方差作为衡量重要性的标准。

根据什么选择主成分？

1、初始特征根（又叫方差，某个特征根占总特征根的比例成为主成分方差贡献率）

实际上就是主轴的长度，反应了主成分对原始变量的影响程度，表示引入该主成分后可以解释原始变量的信息。

2、主成分贡献率

一般来说，累计方差贡献率达到80%以上的前几个主成分，都可以选做最后的主成分。

3、特征根的大小

当特征根小于1时，一般就不再选做主成分了。

如何解释主成分？

1、主成分的因子载荷矩阵

2、载荷图