文本挖掘找出50年間最流行的音樂

科技 08-17

從1958年開始每年十二月Billboard都會發布一個年度百首流行曲金榜。這個圖表涵蓋了美國全年的流行單曲表現。

通過R語言，我已經把50年的(1965-2015)年度流行金榜百首的歌詞合併到一個數據集進行分析。你可以在我的Github庫中下載該數據集。

獲取歌詞

用於分析的歌曲是來自於對維基百科中每個Billboard年度流行金榜百首（如2014年）的抓取。這是整個年度的圖表，而不是每周的排名。許多藝術家做過周圖表，但沒有做過年度圖表。年度圖表是通過周Billboard的逆點系統來進行計算的。

我使用XML和RCurl從每個維基百科詞條中抓取歌曲和藝術家的名字。然後我用這個列表從有可預見的URL字元串的網站上抓取歌詞（例如，metrolyrics.com就使用metrolyrics.com/SONG-NAME-lyrics-ARTIST-NAME.html）。如果第一個站點抓取失敗了，就轉向第二個，依此類推。大約78.9％的歌詞是從metrolyics.com上抓取的，15.7％是從songlyrics.com上，1.8％是從lyricsmode.com上。另外大約3.6％（187/5100）沒有找到。

該數據集對5100個觀測對象根據歌曲、藝術家、年份、歌詞和來源進行了1-100的特徵等級劃分。歸功於維基百科藝術家特徵是相當標準化的，但當涉及到與藝術家的合作時就存在一些問題。如果在抓取的歌詞中存在錯誤，如拼寫錯誤或另外的像把「night」寫成了「nite」，這些並沒有得到糾正。

管理數據

最常見的歌詞

58％一單首現象

出現在年度圖表上的1989名中的1154名藝術家（約佔58％）都僅僅只有一首知名曲目。右邊的數據是通過把藝術家的歌曲進行匯總而計算出來的；另外把「精選」藝術家都單獨列出來。這意味著只有位列第一的藝術家才能得到對其歌曲的完全信任。

馬拉松vs衝刺生涯

我們驚訝地發現一些位居表格頂端的藝術家反而有相對較短的職業生涯（Rihanna在10年時間內有28個入表的歌曲），所以我觀察了一下歌手職業生涯的長度和入榜歌曲的平均數量之間的關係，並發現這兩者之間是呈負相關的。職業生涯跨度每增加一年，每年歌曲入榜平均數量就會減少94％。

*數據集不包括1964年披頭士樂隊第一年入選年度榜單，所以實際上他們的職業生涯跨度是12年。

隨時間增長歌詞的變化

辭彙和曲長不斷增長

數據集中的歌曲平均總長332個單詞，114種辭彙。平均字數（包括種類和數量）隨著時間的推移不斷增加。字數的變化量也有所增加，可能是由於隨著時間的推移進入榜單排名的歌曲體裁更加多樣。可變方差通過字數統計的轉換日誌進行校正，並和兩個線性模型擬合，最後產生總係數0.01873和單詞種類係數0.0136。在每年的增加量上，總字數平均每年增加1.87％，字數種類增加1.36％。