數據分析技術：聚類分析；可怕的不是階層固化，而是因此放棄了努力

應用背景

劃分類別、等級和階層的行為自發或不自發的存在於社會生活的各個角落。例如，可以根據家庭年收入情況將所有家庭劃分為低收入到高收入的不同階層；根據人們的工作性質，也可以將人們劃分不同階層；根據出生地和生活習慣，同樣可以對人群進行分類。對事物分門別類依據的是不同事物身上共同的標籤。

分階層、分等級、分類別從來都不是一個能夠被簡單定義好壞的行為。中華幾千年的文明歷史，從奴隸社會、封建社會，再跨越進入社會主義社會的初級階段，沒有那種社會形態只存在一種階層，一種人群。在不同的階層和人群間，也必然存在協作、欺壓甚至剝削等不同的相處模式，這是由不同群體身上的標籤決定的，這是分類殘酷的一面。對於數據分析者和商業運營者來說，不同類別事物身上的特有標籤是他們需要充分利用的信息，例如，年輕人喜歡鬧騰消遣娛樂方式；女性消費者是化妝品的主要購買和使用者；老年社會的來臨，意味著養老機構存在極大的需求缺口等等，這是分類信息帶給商業運營者制定下一步發展策略的方向。

上面列舉的例子都是通過一個指標、特徵或標籤就對所有的事物進行分類，這樣的分類情況是非常簡單和明確的。然而，如果分類需要考慮的標籤是多個，事物在這些標籤上的表現有好有壞，那麼就需要用到聚類分析來達到我們的需求了。

聚類分析原理

在介紹聚類分析原理前，需要強調一個事實。同其它統計分析方法不同，聚類分析是一種探索性的分析方法，也就是說不用也沒有辦法對聚類分析的結果進行「是否正確」的檢驗，只能依據聚類結果在具體問題中的「有用性」來判斷聚類效果的好壞，沒有正確或錯誤之分。

聚類分析的實質就是按照事物之間距離的遠近進行分類，其分析結果使同類別事物的距離（差異）儘可能小，不同類別的距離（差異）儘可能大。根據聚類分析的邏輯，以下幾個問題是需要大家清楚理解的。

距離的定義

事物身上的指標數據（標籤數據）類型可以分成兩類：分類數據（定類或定序）以及連續型數據（定距和定比），這兩類數據在聚類分析時，常用的距離測量方式是完全不同的，連續型數據一般使用歐氏平方距離，而分類數據使用的則是卡方相關性。對於連續型數據的歐式距離或歐式平方距離，可以用下面的公式表示，是非常好理解的：

基於不同數據類型，定義距離的方式不同，因此傳統聚類方法只能使用單一種類的指標數據進行聚類分析，如果數據中同時含有兩類數據，那麼只能選取其中一種進行分析。令人高興的是，隨著聚類分析方法的發展，一些智能聚類方法已經可以很好的同時分析這兩種變數，兩步聚類就是最常用的只能聚類方法。

通過上面介紹的歐式距離公式，我們會發現一個很明顯的缺陷，那就是不同指標數據的單位或數量級相差很大，那麼數量級大的指標數據會對歐式距離產生更大的影響。例如，x的數量級如果是萬，而y數量級僅為十，那麼y變數對歐式距離結果的影響相對於x來說就顯得微不足道了。解決這個缺陷最常用的辦法就是數據標準化，使得不同數量級的數據回到同一起跑線。常用的標準化方式就是把數據轉化成標準化分數，當然也可以根據實際情況將不同數量級的數據變換成同一個數量級進行比較。

聚類方法

聚類分析經過多年的發展，已經逐漸形成常用的三種聚類方法：層次聚類法、K-Mean聚類法和二階聚類法。下面對這三種聚類方法的聚類邏輯進行介紹，後面會用三篇推送具體介紹它們的原理、SPSS軟體實現和生活案例應用。

層次聚類法

層次聚類法是傳統的聚類方法，它首先需要根據指標數據類型確定距離的基本定義和計算方式，隨後按照距離的遠近，將所有的事物（個案）一步一步的歸成一類。這樣聚類的結果顯然存在嵌套，或者說不同類別間會有層次關係，因此被稱為層次聚類法。層次聚類可用一張二維空間圖來表示，稱為樹狀圖。

K-均值聚類

層次聚類的分析過程是非常細緻的，需要計算所有事物（個案）兩兩之間的距離，所以聚類的效率不高。K-均值聚類可以在一定程度上解決這個問題。K-均值聚類在聚類之前就確定好了最終的類別數和類別坐標，整個分析過程使用迭代的方式進行。通過不斷的迭代把事物（個案）在不同類別之間移動，直到找到距離最短的類別，然後將該事物歸於此類。整個計算過程中不需要存儲基本數據，因此不會出現嵌套結果，計算速度也非常快。

二階聚類

隨著數據收集和存儲設備的發展，海量數據的聚類分析已經稱為迫切的需求，而上面介紹的兩種聚類方法在速度和效率上還不能滿足要求。首先是面對海量數據，過高的計算量會使上面兩種方法不具實用價值；其次上面兩種聚類方法不能處理複雜指標數據同時存在的情況，特別是連續型和離散型數據混合出現的情況。二階聚類能夠解決上面兩種聚類方法不能處理的複雜情況。

溫馨提示：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！