Python爬蟲實戰：批量採集股票數據，並保存到Excel中

最新 07-14

小編說：通過本文，讀者可以掌握分析網頁的技巧、Python編寫網路程序的方法、Excel的操作，以及正則表達式的使用。這些都是爬蟲項目中必備的知識和技能。

實例描述：通過編寫爬蟲，將指定日期時段內的全部上市公司股票數據爬取下來，並按照股票代碼保存到相應的Excel文件中。

本案例主要分為兩大步驟：

（1）要知道上市公司有哪些；

（2）根據每一個上市公司的股票編號爬取數據。

由於兩部分代碼相對比較獨立，可以做成兩個代碼文件。一個文件用來爬取股票代碼，另一個文件用來爬取股票內容。

1 爬取股票代碼

爬取股票代碼的基本思路是：

（1）分析網站上的網頁源代碼，找到目標代碼。

（2）利用正則表達式，在整個網頁里搜索目標代碼，從而提取出所要的信息（股票代碼）。

有關金融證券領域的網站一般都會有上市公司的股票代碼信息。隨便找一個即可。

1.1找到目標網站

使用Chrome瀏覽器訪問鏈接：

股票代碼網頁

1.2打開調試窗口，查看網頁代碼

保持當前瀏覽器窗口為活動頁面，按F12鍵顯示出網頁的源代碼調試窗口，單擊調試窗口的Element按鈕，可以看到頁面的HTML代碼。

調試窗口

1.3在網頁源碼中找到目標元素

網頁的源代碼是按照HTML的語法規則自動摺疊的。可以用游標在HTML代碼中任意單擊將其展開。當游標移動到某個元素時，會看到右測網頁中對應的元素會有變化，呈現被選中狀態。

選中元素

上圖中，箭頭所指的網頁源代碼，就是需要關注並爬取的內容。

1.4分析目標源代碼，找出規律

分析上圖中左側顯示的內容，與右側代碼之間的對應關係。不難發現，左側顯示的每個股票代碼所對應的源代碼格式都是固定的。

目標源代碼內容

這條源代碼內容，便是要找到的目標代碼。將其整理成如下字元串模版：

其中，「.html」前面的「股票代碼」就是需要抓取的內容。分析到這裡，開發任務就轉化成：在整個網頁的源碼中，找到這樣結構的字元串，並將其中的股票代碼提取出來。

1.5編寫代碼抓取股票代碼

編寫代碼實現urlTolist函數，並在該函數里實現主要的抓取功能：

（1）通過使用urllib.request模塊中的urlopen函數訪問目的鏈接；

（2）通過urlopen返回值的read方法獲得網頁的全部內容；

（3）使用re模塊下的compile函數來做正則表達式的計算模版，其模版字元串就是之前分析的網頁目標代碼；

（4）調用re.compile返回對象的findall方法，來對網頁的HTML代碼進行正則表達式計算。得到的返回值code便是最終的爬取結果。

代碼1：爬取股票代碼

在上面代碼中，函數urlTolist的最後4行代碼是為了讓結果更加有效而做的數值驗證。即，只有6（上海證交所）、0（深圳證交所）、3（創業板）打頭的股票代碼是有效代碼。

在代碼中，正則表達式的模版部分（代碼中的第9行），有這麼一段代碼「SS(.*?)」。其中，兩個「S」表明每個股票代碼的前兩個都是字元，是要跳過的地方。後面的括弧及裡面的內容，表示需要讓正則表達式來抓取的部分。（關於正則表達式，不在本書介紹的內容之內，有興趣的讀者可以自行研究。不了解也沒關係，直接這麼使用即可。）

1.6運行代碼，顯示結果

代碼運行後，顯示如下內容

可以看到，爬取的結果是以list的方式存放的。前10條都是上海證交所的股票。