主成分分析和因子分析 PC，FA 及運行結果

知識 07-24

謝謝關注計量經濟學圈，可以推介給你的朋友，與計量哥一起組建個圈子。文末有一個「投票」活動，歡迎各位積极參与Voting。

主成分分析

在許多領域的研究與應用中，往往需要對反映事物的多個變數進行大量的觀測，收集大量數據以便進行分析尋找規律。多變數大樣本無疑會為研究和應用提供了豐富的信息，但也在一定程度上增加了數據採集的工作量，更重要的是在多數情況下，許多變數之間可能存在相關性，從而增加了問題分析的複雜性，同時對分析帶來不便。如果分別對每個指標進行分析，分析往往是孤立的，而不是綜合的。盲目減少指標會損失很多信息，容易產生錯誤的結論。

因此需要找到一個合理的方法，在減少需要分析的指標同時，盡量減少原指標包含信息的損失，以達到對所收集數據進行全面分析的目的。由於各變數間存在一定的相關關係，因此有可能用較少的綜合指標分別綜合存在於各變數中的各類信息。主成分分析與因子分析就屬於這類降維的方法。

主成分分析是設法將原來眾多具有一定相關性（比如P個指標），重新組合成一組新的互相無關的綜合指標來代替原來的指標。

主成分分析，是考察多個變數間相關性一種多元統計方法，研究如何通過少數幾個主成分來揭示多個變數間的內部結構，即從原始變數中導出少數幾個主成分，使它們儘可能多地保留原始變數的信息，且彼此間互不相關.通常數學上的處理就是將原來P個指標作線性組合，作為新的綜合指標。

最經典的做法就是用F1（選取的第一個線性組合，即第一個綜合指標）的方差來表達，即Var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中選取的F1應該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來P個指標的信息，再考慮選取F2即選第二個線性組合，為了有效地反映原來信息，F1已有的信息就不需要再出現在F2中，用數學語言表達就是要求Cov(F1, F2)=0，則稱F2為第二主成分，依此類推可以構造出第三、第四，……，第P個主成分。

2. 問題描述

下表1是某些學生的語文、數學、物理、化學成績統計：

首先，假設這些科目成績不相關，也就是說某一科目考多少分與其他科目沒有關係。那麼一眼就能看出來，數學、物理、化學這三門課的成績構成了這組數據的主成分（很顯然，數學作為第一主成分，因為數學成績拉的最開）。為什麼一眼能看出來？因為坐標軸選對了！下面再看一組學生的數學、物理、化學、語文、歷史、英語成績統計，見表2，還能不能一眼看出來：

數據太多了，以至於看起來有些凌亂！也就是說，無法直接看出這組數據的主成分，因為在坐標系下這組數據分布的很散亂。究其原因，是因為無法撥開遮住肉眼的迷霧~如果把這些數據在相應的空間中表示出來，也許你就能換一個觀察角度找出主成分。如下圖1所示：

但是，對於更高維的數據，能想像其分布嗎？就算能描述分布，如何精確地找到這些主成分的軸？如何衡量你提取的主成分到底佔了整個數據的多少信息？所以，我們就要用到主成分分析的處理方法。

3. 數據降維

為了說明什麼是數據的主成分，先從數據降維說起。數據降維是怎麼回事兒？假設三維空間中有一系列點，這些點分布在一個過原點的斜面上，如果你用自然坐標系x,y,z這三個軸來表示這組數據的話，需要使用三個維度，而事實上，這些點的分布僅僅是在一個二維的平面上，那麼，問題出在哪裡？

如果你再仔細想想，能不能把x,y,z坐標系旋轉一下，使數據所在平面與x,y平面重合？這就對了！如果把旋轉後的坐標系記為x』,y』,z』，那麼這組數據的表示只用x』和y』兩個維度表示即可！當然了，如果想恢復原來的表示方式，那就得把這兩個坐標之間的變換矩陣存下來。這樣就能把數據維度降下來了！

但是，我們要看到這個過程的本質，如果把這些數據按行或者按列排成一個矩陣，那麼這個矩陣的秩就是2！這些數據之間是有相關性的，這些數據構成的過原點的向量的最大線性無關組包含2個向量，這就是為什麼一開始就假設平面過原點的原因！

那麼如果平面不過原點呢？這就是數據中心化的緣故！將坐標原點平移到數據中心，這樣原本不相關的數據在這個新坐標系中就有相關性了！有趣的是，三點一定共面，也就是說三維空間中任意三點中心化後都是線性相關的，一般來講n維空間中的n個點一定能在一個n-1維子空間中分析！

上一段文字中，認為把數據降維後並沒有丟棄任何東西，因為這些數據在平面以外的第三個維度的分量都為0。現在，假設這些數據在z』軸有一個很小的抖動，那麼我們仍然用上述的二維表示這些數據，理由是我們可以認為這兩個軸的信息是數據的主成分，而這些信息對於我們的分析已經足夠了，z』軸上的抖動很有可能是雜訊，也就是說本來這組數據是有相關性的，雜訊的引入，導致了數據不完全相關，但是，這些數據在z』軸上的分布與原點構成的夾角非常小，也就是說在z』軸上有很大的相關性，綜合這些考慮，就可以認為數據在x』,y』軸上的投影構成了數據的主成分！

課堂上老師談到的特徵選擇的問題，其實就是要剔除的特徵主要是和類標籤無關的特徵。而這裡的特徵很多是和類標籤有關的，但裡面存在雜訊或者冗餘。在這種情況下，需要一種特徵降維的方法來減少特徵數，減少噪音和冗餘，減少過度擬合的可能性。

PCA的思想是將n維特徵映射到k維上（k

二、PCA實例

現在假設有一組數據如下：

行代表了樣例，列代表特徵，這裡有10個樣例，每個樣例兩個特徵。可以這樣認為，有10篇文檔，x是10篇文檔中「learn」出現的TF-IDF，y是10篇文檔中「study」出現的TF-IDF。

第一步，分別求x和y的平均值，然後對於所有的樣例，都減去對應的均值。這裡x的均值是1.81，y的均值是1.91，那麼一個樣例減去均值後即為（0.69,0.49），得到

第二步，求特徵協方差矩陣，如果數據是3維，那麼協方差矩陣是

這裡只有x和y，求解得

對角線上分別是x和y的方差，非對角線上是協方差。協方差是衡量兩個變數同時變化的變化程度。協方差大於0表示x和y若一個增，另一個也增；小於0表示一個增，一個減。如果ｘ和ｙ是統計獨立的，那麼二者之間的協方差就是０；但是協方差是０，並不能說明ｘ和ｙ是獨立的。協方差絕對值越大，兩者對彼此的影響越大，反之越小。協方差是沒有單位的量，因此，如果同樣的兩個變數所採用的量綱發生變化，它們的協方差也會產生樹枝上的變化。

第三步，求協方差的特徵值和特徵向量，得到

第四步，將特徵值按照從大到小的順序排序，選擇其中最大的k個，然後將其對應的k個特徵向量分別作為列向量組成特徵向量矩陣。

第五步，將樣本點投影到選取的特徵向量上。假設樣例數為m，特徵數為n，減去均值後的樣本矩陣為DataAdjust(m*n)，協方差矩陣是n*n，選取的k個特徵向量組成的矩陣為EigenVectors(n*k)。那麼投影后的數據FinalData為

得到的結果是：

這樣，就將原始樣例的n維特徵變成了k維，這k維就是原始特徵在k維上的投影。

上面的數據可以認為是learn和study特徵融合為一個新的特徵叫做LS特徵，該特徵基本上代表了這兩個特徵。上述過程如下圖2描述：

正號表示預處理後的樣本點，斜著的兩條線就分別是正交的特徵向量（由於協方差矩陣是對稱的，因此其特徵向量正交），最後一步的矩陣乘法就是將原始樣本點分別往特徵向量對應的軸上做投影。

整個PCA過程貌似及其簡單，就是求協方差的特徵值和特徵向量，然後做數據轉換。但是有沒有覺得很神奇，為什麼求協方差的特徵向量就是最理想的k維向量？其背後隱藏的意義是什麼？整個PCA的意義是什麼？

三、PCA推導

先看下面這幅圖：

在第一部分中，我們舉了一個學生成績的例子，裡面的數據點是六維的，即每個觀測值是6維空間中的一個點。我們希望將6維空間用低維空間表示。

先假定只有二維，即只有兩個變數，它們由橫坐標和縱坐標所代表；因此每個觀測值都有相應於這兩個坐標軸的兩個坐標值；如果這些數據形成一個橢圓形狀的點陣，那麼這個橢圓有一個長軸和一個短軸。在短軸方向上，數據變化很少；在極端的情況，短軸如果退化成一點，那只有在長軸的方向才能夠解釋這些點的變化了；這樣，由二維到一維的降維就自然完成了。

上圖中，u1就是主成分方向，然後在二維空間中取和u1方向正交的方向，就是u2的方向。則n個數據在u1軸的離散程度最大（方差最大），數據在u1上的投影代表了原始數據的絕大部分信息，即使不考慮u2，信息損失也不多。而且，u1、u2不相關。只考慮u1時，二維降為一維。

橢圓的長短軸相差得越大，降維也越有道理。

1. 最大方差理論

在信號處理中認為信號具有較大的方差，雜訊有較小的方差，信噪比就是信號與雜訊的方差比，越大越好。如前面的圖，樣本在u1上的投影方差較大，在u2上的投影方差較小，那麼可認為u2上的投影是由雜訊引起的。

因此我們認為，最好的k維特徵是將n維樣本點轉換為k維後，每一維上的樣本方差都很大。

比如我們將下圖中的5個點投影到某一維上，這裡用一條過原點的直線表示（數據已經中心化）：

假設我們選擇兩條不同的直線做投影，那麼左右兩條中哪個好呢？根據我們之前的方差最大化理論，左邊的好，因為投影后的樣本點之間方差最大（也可以說是投影的絕對值之和最大）。

計算投影的方法見下圖5：

圖中，紅色點表示樣例，藍色點表示在u上的投影，u是直線的斜率也是直線的方向向量，而且是單位向量。藍色點是在u上的投影點，離原點的距離是（即xTu或者uTx）。

2. 最小二乘法

我們使用最小二乘法來確定各個主軸（主成分）的方向。

對給定的一組數據（下面的闡述中，向量一般均指列向量）：

其數據中心位於:

數據中心化（將坐標原點移到樣本點的中心點）：

中心化後的數據在第一主軸u1方向上分布散的最開，也就是說在u1方向上的投影的絕對值之和最大（也可以說方差最大），計算投影的方法上面已經闡述，就是將x與u1做內積，由於只需要求u1的方向，所以設u1也是單位向量。

在這裡，也就是最大化下式：

由矩陣代數相關知識可知，可以對絕對值符號項進行平方處理，比較方便。所以進而就是最大化下式：

兩個向量做內積，可以轉化成矩陣乘法：

所以目標函數可以表示為：

括弧裡面就是矩陣乘法表示向量內積，由於列向量轉置以後是行向量，行向量乘以列向量得到一個數，一個數的轉置還是其本身，所以又可以將目標函數化為：

去括弧：

又由於u1和i無關，可以拿到求和符外面，上式化簡為：

學過矩陣代數的同學可能已經發現了，上式括弧裡面求和後的結果，就相當於一個大矩陣乘以自身的轉置，其中，這個大矩陣的形式如下：

X矩陣的第i列就是xi

於是有：

所以目標函數最終化為：

其中的就是一個二次型，

我們假設的某一特徵值為λ，對應的特徵向量為ξ，有

所以，是半正定的對稱矩陣，即是半正定陣的二次型，由矩陣代數知識得出，目標函數存在最大值！

下面我們求解最大值、取得最大值時u1的方向這兩個問題。

先解決第一個問題，對於向量x的二範數平方為:

同樣，目標函數也可以表示成映射後的向量的二範數平方：

把二次型化成一個範數的形式，由於u1取單位向量，最大化目標函數的基本問題也就轉化為：對一個矩陣，它對一個向量做變換，變換前後的向量的模長伸縮尺度如何才能最大？我們有矩陣代數中的定理知，向量經矩陣映射前後的向量長度之比的最大值就是這個矩陣的最大奇異值，即：

式中，是矩陣A的最大奇異值（亦是矩陣A的二範數），它等於（或）的最大特徵值開平方。

針對本問題來說，是半正定對稱陣，也就意味著它的特徵值都大於等於0，且不同特徵值對應的特徵向量是正交的，構成所在空間的一組單位正交基。

再解決第二個問題，對一般情況，設對稱陣

的n個特徵值分別為：

相應的單位特徵向量為：

任取一個向量x，用特徵向量構成的空間中的這組基表示為：

則：

所以：

針對第二個問題，我們取上式中的，目標函數取得最大值，也就是的最大特徵值時，對應的特徵向量的方向，就是第一主成分u1的方向！（第二主成分的方向為的第二大特徵值對應的特徵向量的方向，以此類推）。

證明完畢。

主成分所佔整個信息的百分比可用下式計算：

式中分母為所有奇異值平方和，分子為所選取的前k大奇異值平方和。

有些研究工作表明，所選的主軸總長度占所有主軸長度之和的大約85% 即可，其實，這只是一個大體的說法，具體選多少個，要看實際情況而定。

3.意義

PCA將n個特徵降維到k個，可以用來進行數據壓縮，例如100維的向量最後可以用10維來表示，那麼壓縮率為90%。同樣圖像處理領域的KL變換使用PCA做圖像壓縮，人臉檢測和匹配。

主成分分析Stata操作

讀取數據：

主成分分析：

變數特徵向量：

Screenplot:

預測前三個主成分：

預測出來的前三個主成分結果：

前三個主成分與原始變數的相關性：

因此，我們可以說第一個主成分變數與原始的8個變數都是相關的，而第二個主成分變數則只反映其中的3個變數，至於第三個主成分變數，它只反映1個變數headroom因素（我們把絕對值>0.5設為顯著）。

因子分析

因子分析是研究如何以最少的信息丟失，將眾多原始變數濃縮成少數幾個因子變數，以及如何使因子變數具有較強的可解釋性的一種多元統計分析方法。我們以下為例：

為了了解學生的學習能力，觀測了n個學生p個科目的成績，用X1,...,Xp表示p個科目（例如代數，幾何，語文，英語......）。我們對這些資料進行歸納分析，得出全部科目X所共有的因子有m(m

X(i)=a(i1)F1+a(i2)F2+...+a(im)Fm+ε(i) (i=1,...,p)

用這m個不可觀測的互不相關的公共因子F1...Fm和一個特殊因子ε(i)來描述原始可測的相關變數（科目）X1...Xp，並解釋分析學生的學習能力。它們的係數a(i1),...a(im)稱為因子載荷。這就是一個因子分析模型，即達到了降維又可以用於分類。

綜上所述，因子分析是尋找潛在的起支配作用的因子模型的方法。因子分析是根據相關性大小把變數分組，使得同組內的變數之間相關性較高，但不同的組的變數相關性較低，每組變數代表一個基本結構，這個基本結構稱為公共因子。對於所研究的問題就可試圖用最少個數的不可測的所謂公共因子的線性函數與特殊因子之和來描述原來觀測的每一分量。

通過因子分析得來的新變數是對每個原始變數進行內部剖析。因子分析不是對原始變數的重新組合，而是對原始變數進行分解，分解為公共因子和特殊因子兩部分。具體地說，就是要找出某個問題中可直接測量的具有一定相關性的諸指標，如何受少數幾個在專業中有意義、又不可直接測量到、且相對獨立的因子支配的規律，從而可用各指標的測定來間接確定各因子的狀態。因子分析只能解釋部分變異，主成分分析能解釋所有變異。

因子分析法是從研究變數內部相關的依賴關係出發，把一些具有錯綜複雜關係的變數歸結為少數幾個綜合因子的一種多變數統計分析方法。它的基本思想是將觀測變數進行分類，將相關性較高，即聯繫比較緊密的分在同一類中，而不同類變數之間的相關性則較低，那麼每一類變數實際上就代表了一個基本結構，即公共因子。對於所研究的問題就是試圖用最少個數的不可測的所謂公共因子的線性函數與特殊因子之和來描述原來觀測的每一分量。

因子分析模型描述如下：

X = (x1，x2，…，xp）￠是可觀測隨機向量，均值向量E(X)=0，協方差陣Cov(X)=∑，且協方差陣∑與相關矩陣R相等（只要將變數標準化即可實現）。

F = (F1，F2，…，Fm）￠（m

e = (e1，e2，…，ep）￠與F相互獨立，且E(e)=0， e的協方差陣∑是對角陣，即各分量e之間是相互獨立的，則模型：

x1 = a11F1+ a12F2 +…+a1mFm + e1

x2 = a21F1+a22F2 +…+a2mFm + e2

………

xp = ap1F1+ ap2F2 +…+apmFm + ep

稱為因子分析模型，由於該模型是針對變數進行的，各因子又是正交的，所以也稱為R型正交因子模型。

其矩陣形式為：x =AF + e

這裡，

m ￡ p；

Cov(F，e)=0，即F和e是不相關的；

D(F) = Im ，即F1，F2，…，Fm不相關且方差均為1；

D(e)=，即e1，e2，…，ep不相關，且方差不同。

我們把F稱為X的公共因子或潛因子，矩陣A稱為因子載荷矩陣，e 稱為X的特殊因子。A = (aij），aij為因子載荷。數學上可以證明，因子載荷aij就是第i變數與第j因子的相關係數，反映了第i變數在第j因子上的重要性。

模型中F1，F2，…，Fm叫做主因子或公共因子，它們是在各個原觀測變數的表達式中都共同出現的因子，是相互獨立的不可觀測的理論變數。公共因子的含義，必須結合具體問題的實際意義而定。e1，e2，…，ep叫做特殊因子，是向量x的分量xi(i=1，2，…，p）所特有的因子，各特殊因子之間以及特殊因子與所有公共因子之間都是相互獨立的。

模型中載荷矩陣A中的元素（aij）是為因子載荷。因子載荷aij是xi與Fj的協方差，也是xi與Fj的相關係數，它表示xi依賴Fj的程度。可將aij看作第i個變數在第j公共因子上的權，aij的絕對值越大（|aij|￡1），表明xi與Fj的相依程度越大，或稱公共因子Fj對於xi的載荷量越大。為了得到因子分析結果的經濟解釋，因子載荷矩陣A中有兩個統計量十分重要，即變數共同度和公共因子的方差貢獻。

因子載荷矩陣A中第i行元素之平方和記為hi2，稱為變數xi的共同度。

它是全部公共因子對xi的方差所做出的貢獻，反映了全部公共因子對變數xi的影響。hi2大表明x的第i個分量xi對於F的每一分量F1，F2，…，Fm的共同依賴程度大。將因子載荷矩陣A的第j列（ j =1，2，…，m）的各元素的平方和記為gj2，稱為公共因子Fj對x的方差貢獻。

gj2就表示第j個公共因子Fj對於x的每一分量xi(i= 1，2，…，p）所提供方差的總和，它是衡量公共因子相對重要性的指標。gj2越大，表明公共因子Fj對x的貢獻越大，或者說對x的影響和作用就越大。如果將因子載荷矩陣A的所有gj2 ( j =1，2，…，m）都計算出來，使其按照大小排序，就可以依此提煉出最有影響力的公共因子。

因子旋轉

建立因子分析模型的目的不僅是找出主因子，更重要的是知道每個主因子的意義，以便對實際問題進行分析。如果求出主因子解後，各個主因子的典型代表變數不很突出，還需要進行因子旋轉，通過適當的旋轉得到比較滿意的主因子。

旋轉的方法有很多，正交旋轉（orthogonal rotation）和斜交旋轉（oblique rotation）是因子旋轉的兩類方法。最常用的方法是最大方差正交旋轉法（Varimax）。進行因子旋轉，就是要使因子載荷矩陣中因子載荷的平方值向0和1兩個方向分化，使大的載荷更大，小的載荷更小。因子旋轉過程中，如果因子對應軸相互正交，則稱為正交旋轉；如果因子對應軸相互間不是正交的，則稱為斜交旋轉。常用的斜交旋轉方法有Promax法等。

因子得分

因子分析模型建立後，還有一個重要的作用是應用因子分析模型去評價每個樣品在整個模型中的地位，即進行綜合評價。例如地區經濟發展的因子分析模型建立後，我們希望知道每個地區經濟發展的情況，把區域經濟劃分歸類，哪些地區發展較快，哪些中等發達，哪些較慢等。這時需要將公共因子用變數的線性組合來表示，也即由地區經濟的各項指標值來估計它的因子得分。

設公共因子F由變數x表示的線性組合為：

Fj = uj1 xj1+ uj2 xj2+…+ujpxjp j=1，2，…，m

該式稱為因子得分函數，由它來計算每個樣品的公共因子得分。若取m=2，則將每個樣品的p個變數代入上式即可算出每個樣品的因子得分F1和F2，並將其在平面上做因子得分散點圖，進而對樣品進行分類或對原始數據進行更深入的研究。

但因子得分函數中方程的個數m小於變數的個數p，所以並不能精確計算出因子得分，只能對因子得分進行估計。估計因子得分的方法較多，常用的有回歸估計法，Bartlett估計法，Thomson估計法。

因子分析的核心問題有兩個：一是如何構造因子變數；二是如何對因子變數進行命名解釋。因此，因子分析的基本步驟和解決思路就是圍繞這兩個核心問題展開的。

（i）因子分析常常有以下四個基本步驟：

確認待分析的原變數是否適合作因子分析。

構造因子變數。

利用旋轉方法使因子變數更具有可解釋性。

計算因子變數得分。

（ii）因子分析的計算過程：

將原始數據標準化，以消除變數間在數量級和量綱上的不同。

求標準化數據的相關矩陣；

求相關矩陣的特徵值和特徵向量；

計算方差貢獻率與累積方差貢獻率；

確定因子：

設F1，F2，…， Fp為p個因子，其中前m個因子包含的數據信息總量（即其累積貢獻率）不低於80%時，可取前m個因子來反映原評價指標；

因子旋轉：

若所得的m個因子無法確定或其實際意義不是很明顯，這時需將因子進行旋轉以獲得較為明顯的實際含義。

用原指標的線性組合來求各因子得分：

採用回歸估計法，Bartlett估計法或Thomson估計法計算因子得分。

綜合得分

以各因子的方差貢獻率為權，由各因子的線性組合得到綜合評價指標函數。

F = (w1F1+w2F2+…+wmFm)/(w1+w2+…+wm )

此處wi為旋轉前或旋轉後因子的方差貢獻率。

得分排序：利用綜合得分可以得到得分名次。

因子分析Stata操作

讀取數據：

數據展示：

因子分析：

因子負荷：

Uniqueness：代表測量誤差和未能被因子所解釋的那部分，因此當它的值大於0.6，我們一般認為，這些因子未能很好地解釋各個原始變數。這個示例裡面，恰恰都出現了Uniqueness>0.6的情形，所以這裡的三個因子並不能很好地解釋原始變數。

主成分分析與因子分析不同點

1、因子分析中是把變數表示成各因子的線性組合，而主成分分析中則是把主成分表示成各變數的線性組合。

2、主成分分析的重點在於解釋各變數的總方差，而因子分析則把重點放在解釋各變數之間的協方差。

3、主成分分析中不需要有假設（assumptions），因子分析則需要一些假設。因子分析的假設包括：各個共同因子之間不相關，特殊因子（specific factor）之間也不相關，共同因子和特殊因子之間也不相關。

4、主成分分析中，當給定的協方差矩陣或者相關矩陣的特徵值是唯一的時候，主成分一般是獨特的；而因子分析中因子不是獨特的，可以旋轉得到不同的因子。

5、在因子分析中，因子個數需要分析者指定（spss根據一定的條件自動設定，只要是特徵值大於1的因子進入分析），而指定的因子數量不同而結果不同。在主成分分析中，成分的數量是一定的，一般有幾個變數就有幾個主成分。和主成分分析相比，由於因子分析可以使用旋轉技術幫助解釋因子，在解釋方面更加有優勢。

大致說來，當需要尋找潛在的因子，並對這些因子進行解釋的時候，更加傾向於使用因子分析，並且藉助旋轉技術幫助更好解釋。而如果想把現有的變數變成少數幾個新的變數（新的變數幾乎帶有原來所有變數的信息）來進入後續的分析，則可以使用主成分分析。當然，這種情況也可以使用因子得分做到。所以這種區分不是絕對的。

在演算法上，主成分分析和因子分析很類似，不過在因子分析中所採用的協方差矩陣的對角元素不再是變數的方差，而是和變數對應的共同度（變數方差中被各因子所解釋的部分）。