研究方法 / 方法百科

主成分分析如何压缩相关变量

二维正态分布的蓝色散点云呈斜向椭圆,两支黑色箭头从中心出发,分别指向长轴方向的第一主成分和与之垂直的第二主成分

二维正态分布样本的散点图,两支箭头分别指向方差最大的方向(第一主成分)和与之正交的方向(第二主成分)。作者:Nicoguaro;来源:Wikimedia Commons;许可:CC BY 4.0。

主成分分析(PCA)把一组彼此相关的数值变量改写成互不相关的线性组合,并按方差从大到小排序,用前几个主成分概括数据的大部分变异。它由 Pearson 于 1901 年提出、Hotelling 于 1933 年命名。本条目介绍其原理、载荷与得分的读法、主成分个数的选择、与因子分析的区别和常见误用,并附可复算的 R 算例与碎石图。

从相关变量到正交主成分

设有 p 个数值变量 X₁,…,Xₚ。PCA 先找一个线性组合 PC1 = a₁₁X₁ + … + a₁ₚXₚ,在系数向量长度为 1 的约束下让它的方差最大;第二主成分在与第一主成分不相关的前提下方差最大,依此类推,最多得到 p 个主成分。Jolliffe 与 Cadima(2016)的综述把这概括为“构造逐次最大化方差、彼此不相关的新变量”,求解归结为协方差矩阵或相关矩阵的特征值—特征向量问题:特征向量给出组合系数,对应的特征值就是该主成分的方差。几何上,这相当于把坐标轴旋转到数据云拉得最长的方向(见题图);Pearson 1901 年论文的题目正是“空间中点系的最佳拟合直线与平面”。

动手之前要先决定用协方差矩阵还是相关矩阵。PCA 对量纲敏感,方差大的变量会主导第一主成分。变量单位不同或方差相差悬殊时,通常先把每个变量标准化,相当于对相关矩阵做 PCA。R 的 prcomp 文档就以 USArrests 数据为例:各变量方差相差几个数量级,直接 prcomp(USArrests) 是“不恰当的”,应设 scale. = TRUE。

计算上,prcomp 对中心化(及标准化)后的数据矩阵做奇异值分解,而不是对协方差矩阵求特征分解,数值精度更好;方差以 N−1 为除数。还要注意,特征向量的正负号是任意的,不同软件、甚至同一软件的不同构建都可能整列反号,解读时只看同一主成分内各系数的相对符号。

载荷、得分与主成分个数

“载荷”在文献和软件里有两种用法。一种指特征向量本身(R 中的 rotation,每列平方和为 1);另一种是特征向量乘以对应主成分的标准差,在标准化 PCA 中它等于原变量与主成分的相关系数,平方后就是该主成分解释这个变量方差的比例,UCLA OARC 的讲义用的是后一种。读别人的报告时,先确认载荷指哪一种。得分则是每个观测在主成分上的坐标,等于标准化数据乘以特征向量矩阵;各主成分得分互不相关,方差等于对应特征值,可以用于作图、聚类或作为后续模型的输入。

以 USArrests 为例:它记录 1973 年美国 50 个州每 10 万居民的谋杀、袭击、强奸逮捕数和城市人口比例。标准化后四个特征值为 2.480、0.990、0.357、0.173,合计为 4(变量个数),分别解释 62.0%、24.7%、8.9%、4.3% 的方差,前两个累计 86.8%。PC1 上三项犯罪变量的系数相近(−0.536、−0.583、−0.543),城市人口比例较小(−0.278),可以读作“总体犯罪水平”;PC2 由城市人口比例主导(系数绝对值 0.873),可以读作“城市化程度”。换算成相关系数,城市人口比例与 PC2 的相关约为 0.87,前两个主成分合计解释了它约 95% 的方差。这些名字是分析者的解读,不是数据本身给出的结论。

保留几个主成分没有唯一答案,常用的规则有四类:

  • 累计方差比例:保留到累计解释方差达到事先设定的比例(如 80%)为止;比例本身是约定,不是定理。
  • Kaiser 准则:对相关矩阵保留特征值大于 1 的成分(Kaiser,1960),含义是一个主成分至少要比单个标准化变量解释得多。
  • 碎石图:Cattell(1966)建议按序号画出特征值,在曲线由陡降转为平缓的拐点处截断;拐点的判断带有主观性。
  • 平行分析:Horn(1965)用同样规模的随机数据计算特征值,只保留实际特征值高于随机特征值的成分,以扣除抽样误差造成的虚高。

在 USArrests 上,这几条规则并不一致:Kaiser 准则只保留 PC1,因为 PC2 的特征值 0.990 差一点到 1;碎石图在第 3 个成分处转平,按拐点之前截断是 2 个;累计 86.8% 的比例也支持保留两个。规则只是参考,最终要看主成分用来做什么。

碎石图:黑色折线随成分序号增加而下降并逐渐趋平,灰色水平线标出 Kaiser 准则与平行分析门槛。

Boston Housing 数据因子分析的碎石图:黑线为各成分解释的方差比例,灰色水平线分别对应 Kaiser 准则和 Horn 平行分析,竖线标出累计方差比例。作者:Sigbert;来源:Wikimedia Commons;许可:CC BY-SA 3.0。

USArrests 数据的 R 算例

下面的代码只用到 R 自带的 stats 和 graphics 包,USArrests 随 R 一起发行,可以直接复算。输出的标准差、旋转矩阵和方差比例与 ISLR tidymodels 实验页给出的结果一致,只是某些列的符号可能整体相反。

# USArrests ships with base R: 50 US states, 1973
data(USArrests)

# Standardise variables (correlation-matrix PCA); prcomp uses SVD
pca <- prcomp(USArrests, center = TRUE, scale. = TRUE)

summary(pca)              # standard deviations and proportion of variance
eig <- pca$sdev^2         # eigenvalues
round(eig, 3)             # 2.480 0.990 0.357 0.173
round(pca$rotation, 3)    # eigenvectors; column signs are arbitrary

# Variable-component correlations (eigenvector * component sd)
round(cor(USArrests, pca$x), 3)

# Scores of the first states on PC1 and PC2
head(round(pca$x[, 1:2], 2))

# Scree plot with the Kaiser reference line
plot(eig, type = "b", pch = 19, xaxt = "n",
     xlab = "Principal component", ylab = "Eigenvalue",
     main = "Scree plot: USArrests (standardised)")
axis(1, at = seq_along(eig))
abline(h = 1, lty = 2, col = "grey40")

# Optional: parallel analysis (requires the psych package)
# psych::fa.parallel(USArrests, fa = "pc")

运行后,summary 给出的累计方差比例依次为 0.620、0.868、0.957、1.000。碎石图上,特征值从第 1 个到第 2 个成分骤降,第 2 到第 3 个继续明显下降,之后趋平;虚线 y = 1 从第 2 个点上方紧贴着掠过,直观显示出 Kaiser 准则与拐点判断的分歧。Python 用户可以用 statsmodels 的 get_rdataset("USArrests") 下载同一数据(需联网),标准化后交给 sklearn.decomposition.PCA;StandardScaler 以 N 而非 N−1 为除数,特征值会相差 N/(N−1) 倍,方差比例和载荷方向不受影响。

与因子分析的区别和常见误用

PCA 和因子分析都用到变量的线性组合,在 SPSS 里甚至共用同一个菜单,但模型不同。PCA 是对观测变量的变换,没有误差项,目标是用少数成分保留尽量多的总方差,相当于假定不存在独特方差。共同因子分析则是生成模型:观测变量等于载荷乘以潜在因子再加上各自独立的误差,因子只负责解释变量之间的共同方差。scikit-learn 文档把两者放进同一框架:误差协方差为 σ²I 时得到概率 PCA,为对角阵 diag(ψ₁,…,ψₚ) 时就是因子分析,后者允许每个变量有不同大小的噪声。

实务上,目的是压缩变量、构造综合指标或给后续模型降维时用 PCA;相信题目之间的相关由某个潜在构念(如焦虑、智力)驱动,并希望把测量误差分离出去时用因子分析,后者常配合 varimax 等旋转以便解释。多数情况下两者结果相近,但并不总是如此,Jolliffe 的教材第 7 章专门讨论了二者的区别。

最常见的误用是把相关当因果。主成分只是相关结构的另一种写法:USArrests 的 PC1 把三项犯罪率概括在一起,说明它们在各州之间同升同降,既不说明城市化导致犯罪,也不证明存在一个叫“犯罪倾向”的实体。给主成分起名是解释;把主成分得分放进回归,得到的系数也只是原变量组合的关联。主成分方向由手头数据决定,而不是事先设定(Jolliffe 与 Cadima,2016),换一批样本可能改变,因果判断仍要靠研究设计。

第二类误用是对类别变量硬套。PCA 建立在方差和线性相关之上,适用于数值变量。把性别、地区编成 1、2、3 直接放进去,等于假设类别之间有顺序且等距,算出来的“方差”没有实际意义。以类别变量为主的数据可以改用多重对应分析(MCA),FactoMineR 的示例就用 MCA 分析了 300 名茶饮消费者的类别型问卷回答;Jolliffe 与 Cadima(2016)也介绍了针对不同数据类型的 PCA 变体。此外,在预测建模中,PCA 只能在训练集上拟合,再套用到验证集,否则会造成数据泄漏。

参考文献

  1. Pearson, K. (1901). LIII. On lines and planes of closest fit to systems of points in space. Philosophical Magazine, 2(11), 559–572. doi:10.1080/14786440109462720

  2. Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology, 24(6), 417–441. doi:10.1037/h0071325

  3. Kaiser, H. F. (1960). The application of electronic computers to factor analysis. Educational and Psychological Measurement, 20(1), 141–151. doi:10.1177/001316446002000116

  4. Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179–185. doi:10.1007/BF02289447

  5. Cattell, R. B. (1966). The scree test for the number of factors. Multivariate Behavioral Research, 1(2), 245–276. doi:10.1207/s15327906mbr0102_10

  6. Jolliffe, I. T. (2002). Principal Component Analysis (2nd ed.). Springer. doi:10.1007/b98835

  7. Jolliffe, I. T., & Cadima, J. (2016). Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A, 374(2065), 20150202. doi:10.1098/rsta.2015.0202

  8. R Core Team. prcomp {stats}: Principal Components Analysis. R 文档

  9. R Core Team. USArrests {datasets}: Violent Crime Rates by US State. R 文档

  10. Hvitfeldt, E. 12 Unsupervised Learning. ISLR tidymodels Labs. 在线版

  11. UCLA OARC. Principal Components (PCA) and Exploratory Factor Analysis (EFA) with SPSS. 在线讲义

  12. scikit-learn developers. 2.5. Decomposing signals in components (matrix factorization problems). 用户指南

  13. FactoMineR. Multiple Correspondence Analysis. 示例页

  14. 研究方法 · 仪式可以模仿,理解无法伪装

  15. 信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。

  16. 信息同步发表于恩特学术,智能时代的学者社区