主成分分析（principal component analysis,PCA）是一種降維技術，把多個變量化為能夠反映原始變量大部分信息的少數幾個主成分。
設X有p個變量，為n*p階矩陣，即n個樣本的p維向量。首先對X的p個變量尋找正規化線性組合，使它的方差達到最大，這個新的變量稱為第一主成分，抽取第一主成分后，第二主成分的抽取方法與第一主成分一樣，依次類推，直到各主成分累積方差達到總方差的一定比例。
主成分分析的計算步驟：
假設樣本觀測數據矩陣為：
X=(x1,x2,x3,...xp)，xi為n個樣本在第i個屬性上的觀測值，是一個列向量
1.對原始數據標准化處理（0均值化處理）
2.計算樣本相關系數矩陣
3.計算協方差矩陣的特征值和特征向量
4、選擇重要的主成分，並寫出主成分表達式
5.計算主成分得分
6.根據主成分得分的數據，做進一步的統計分析。
主成分分析可以得到p個主成分，但是，由於各個主成分的方差是遞減的，包含的信息量也是遞減的，所以實際分析時，一般不是選取p個主成分，而是根據各個主成分累計貢獻率的大小選取前k個主成分，這里貢獻率就是指某個主成分的方差占全部方差的比重，實際也就是某個特征值占全部特征值總和的比重。貢獻率越大，說明該主成分所包含的原始變量的信息越強。主成分個數k的選取，主要根據主成分的累積貢獻率來決定，即一般要求累計貢獻率達到85%以上，這樣才能保證綜合變量能包括原始變量的絕大多數信息。
另外，在實際應用中，選擇了重要的主成分后，還要注意主成分實際含義解釋。主成分分析中一個很關鍵的問題是如何給主成分賦予新的意義，給出合理的解釋。一般而言，這個解釋是根據主成分表達式的系數結合定性分析來進行的。主成分是原來變量的線性組合，在這個線性組合中個變量的系數有大有小，有正有負，有的大小相當，因而不能簡單地認為這個主成分是某個原變量的屬性的作用，線性組合中各變量系數的絕對值大者表明該主成分主要綜合了絕對值大的變量，有幾個變量系數大小相當時，應認為這一主成分是這幾個變量的總和，這幾個變量綜合在一起應賦予怎樣的實際意義，這要結合具體實際問題和專業，給出恰當的解釋，進而才能達到深刻分析的目的 。
在R里手工統計過程如下：
> #數據集
> y=USArrests
> #相關矩陣
> c=cor(y)
> #特征值
> e=eigen(c)
> e
$values #特征值
[1] 2.4802416 0.9897652 0.3565632 0.1734301
$vectors 特征向量，也就是主成分的表達式
[,1] [,2] [,3] [,4]
[1,] -0.5358995 0.4181809 -0.3412327 0.64922780
[2,] -0.5831836 0.1879856 -0.2681484 -0.74340748
[3,] -0.2781909 -0.8728062 -0.3780158 0.13387773
[4,] -0.5434321 -0.1673186 0.8177779 0.08902432
> # 計算標准化的主成分得分
> scale( as.matrix(y))%*%e$vector
[,1] [,2] [,3] [,4]
Alabama -0.97566045 1.12200121 -0.43980366 0.154696581
Alaska -1.93053788 1.06242692 2.01950027 -0.434175454
Arizona -1.74544285 -0.73845954 0.05423025 -0.826264240
Arkansas 0.13999894 1.10854226 0.11342217 -0.180973554
.....
West Virginia 2.08739306 1.41052627 0.10372163 0.130583080
Wisconsin 2.05881199 -0.60512507 -0.13746933 0.182253407
Wyoming 0.62310061 0.31778662 -0.23824049 -0.164976866
R中下面兩個函數可以用做主成分分析
princomp(x, cor = FALSE, scores = TRUE, covmat = NULL,
subset = rep(TRUE, nrow(as.matrix(x))), ...)
cor =TRUE 是使用相關矩陣求主成分，否則使用協方差矩陣。
prcomp(x, retx = TRUE, center = TRUE, scale. = FALSE,
tol = NULL, ...)
scale =TRUE 即使用相關矩陣求主成分夬否則使用協方差矩陣
求主成分。
> # prcomp() 的用法
> p=prcomp(USArrests, scale=T)
> p
Standard deviations:
[1] 1.5748783 0.9948694 0.5971291 0.4164494
Rotation:
PC1 PC2 PC3 PC4
Murder -0.5358995 0.4181809 -0.3412327 0.64922780
Assault -0.5831836 0.1879856 -0.2681484 -0.74340748
UrbanPop -0.2781909 -0.8728062 -0.3780158 0.13387773
Rape -0.5434321 -0.1673186 0.8177779 0.08902432
> summary(p)
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 1.5749 0.9949 0.59713 0.41645
Proportion of Variance 0.6201 0.2474 0.08914 0.04336
Cumulative Proportion 0.6201 0.8675 0.95664 1.00000
#計算標准化的主成分得分
> predict(p)
結果和手工統計的一樣。