Python 爬蟲實戰：股票數據定向爬蟲
（點擊
上方藍字
，快速關注我們）
來源：hang
segmentfault.com/a/1190000010520835
如有好文章投稿，請點擊 → 這裡了解詳情
功能簡介
目標： 獲取上交所和深交所所有股票的名稱和交易信息。
輸出： 保存到文件中。
技術路線： requests—bs4–re
語言：python3.5
說明
網站選擇原則： 股票信息靜態存在於html頁面中，非js代碼生成，沒有Robbts協議限制。
選取方法： 打開網頁，查看源代碼，搜索網頁的股票價格數據是否存在於源代碼中。
如打開新浪股票網址：鏈接描述(http://finance.sina.com.cn/realstock/company/sz000877/nc.shtml)，如下圖所示：
上圖中左邊為網頁的界面，顯示了天山股份的股票價格是13.06。右邊為該網頁的源代碼，在源代碼中查詢13.06發現沒有找到。所以判斷該網頁的數據使用js生成的，不適合本項目。因此換一個網頁。
再打開百度股票的網址：鏈接描述(https://gupiao.baidu.com/stock/sz300023.html)，如下圖所示：
從上圖中可以發現百度股票的數據是html代碼生成的，符合我們本項目的要求，所以在本項目中選擇百度股票的網址。
由於百度股票只有單個股票的信息，所以還需要當前股票市場中所有股票的列表，在這裡我們選擇東方財富網，網址為：鏈接描述(http://quote.eastmoney.com/stocklist.html)，界面如下圖所示：
原理分析
查看百度股票每隻股票的網址：https://gupiao.baidu.com/stock/sz300023.html，可以發現網址中有一個編號300023正好是這隻股票的編號，sz表示的深圳交易所。因此我們構造的程序結構如下：
步驟1： 從東方財富網獲取股票列表；
步驟2： 逐一獲取股票代碼，並增加到百度股票的鏈接中，最後對這些鏈接進行逐個的訪問獲得股票的信息；
步驟3： 將結果存儲到文件。
接著查看百度個股信息網頁的源代碼，發現每隻股票的信息在html代碼中的存儲方式如下：
因此，在我們存儲每隻股票的信息時，可以參考上圖中html代碼的存儲方式。每一個信息源對應一個信息值，即採用鍵值對的方式進行存儲。在python中鍵值對的方式可以用字典類型。因此，在本項目中，使用字典來存儲每隻股票的信息，然後再用字典把所有股票的信息記錄起來，最後將字典中的數據輸出到文件中。
代碼編寫
首先是獲得html網頁數據的程序，在這裡不多做介紹了，代碼如下：
#獲得html文本
def
getHTMLText
(
url
)
:
try
:
r
=
requests
.
get
(
url
)
r
.
raise_for_status
()
r
.
encoding
=
r
.
apparent_encoding
return
r
.
text
except
:
return
""
接下來是html代碼解析程序，在這裡首先需要解析的是東方財富網頁面：鏈接描述(http://quote.eastmoney.com/stocklist.html)，我們打開其源代碼，如下圖所示：
由上圖可以看到，a標籤的href屬性中的網址鏈接裡面有每隻股票的對應的號碼，因此我們只要把網址裡面對應股票的號碼解析出來即可。解析步驟如下：
第一步，獲得一個頁面：
html = getHTMLText(stockURL)
第二步，解析頁面，找到所有的a標籤：
soup
=
BeautifulSoup
(
html
,
"html.parser"
)
a
=
soup
.
find_all
(
"a"
)
第三步，對a標籤中的每一個進行遍歷來進行相關的處理。處理過程如下：
1.找到a標籤中的href屬性，並且判斷屬性中間的鏈接，把鏈接後面的數字取出來，在這裡可以使用正則表達式來進行匹配。由於深圳交易所的代碼以sz開頭，上海交易所的代碼以sh開頭，股票的數字有6位構成，所以正則表達式可以寫為[s][hz]d{6}。也就是說構造一個正則表達式，在鏈接中去尋找滿足這個正則表達式的字元串，並把它提取出來。代碼如下：
for
i
in
a
:
href
=
i
.
attrs
[
"href"
]
lst
.
append
(
re
.
findall
(
r
"[s][hz]d{6}"
,
href
)[
0
])
2.由於在html中有很多的a標籤，但是有些a標籤中沒有href屬性，因此上述程序在運行的時候出現異常，所有對上述的程序還要進行try…except來對程序進行異常處理，代碼如下：
for
i
in
a
:
try
:
href
=
i
.
attrs
[
"href"
]
lst
.
append
(
re
.
findall
(
r
"[s][hz]d{6}"
,
href
)[
0
])
except
:
continue
從上面代碼可以看出，對於出現異常的情況我們使用了continue語句，直接讓其跳過，繼續執行下面的語句。通過上面的程序我們就可以把東方財富網上股票的代碼信息全部保存下來了。
將上述的代碼封裝成一個函數，對東方財富網頁面解析的完整代碼如下所示：
def
getStockList
(
lst
,
stockURL
)
:
html
=
getHTMLText
(
stockURL
)
soup
=
BeautifulSoup
(
html
,
"html.parser"
)
a
=
soup
.
find_all
(
"a"
)
for
i
in
a
:
try
:
href
=
i
.
attrs
[
"href"
]
lst
.
append
(
re
.
findall
(
r
"[s][hz]d{6}"
,
href
)[
0
])
except
:
continue
接下來是獲得百度股票網鏈接描述(https://gupiao.baidu.com/stock/sz300023.html)單只股票的信息。我們先查看該頁面的源代碼，如下圖所示：
股票的信息就存在上圖所示的html代碼中，因此我們需要對這段html代碼進行解析。過程如下：
1.百度股票網的網址為：https://gupiao.baidu.com/stock/
一隻股票信息的網址為：https://gupiao.baidu.com/stock/sz300023.html
所以只要百度股票網的網址+每隻股票的代碼即可，而每隻股票的代碼我們已經有前面的程序getStockList從東方財富網解析出來了，因此對getStockList函數返回的列表進行遍歷即可，代碼如下：
for
stock
in
lst
:
url
=
stockURL
+
stock
+
".html"
2.獲得網址後，就要訪問網頁獲得網頁的html代碼了，程序如下：
html = getHTMLText(url)
3.獲得了html代碼後就需要對html代碼進行解析，由上圖我們可以看到單個股票的信息存放在標籤為div,屬性為stock-bets的html代碼中，因此對其進行解析：
soup
=
BeautifulSoup
(
html
,
"html.parser"
)
stockInfo
=
soup
.
find
(
"div"
,
attrs
=
{
"class"
:
"stock-bets"
})
4.我們又發現股票名稱在bets-name標籤內，繼續解析，存入字典中：
infoDict
=
{}
name
=
stockInfo
.
find_all
(
attrs
=
{
"class"
:
"bets-name"
})[
0
]
infoDict
.
update
({
"股票名稱"
:
name
.
text
.
split
()[
0
]})
split()的意思是股票名稱空格後面的部分不需要了。
5.我們從html代碼中還可以觀察到股票的其他信息存放在dt和dd標籤中，其中dt表示股票信息的鍵域，dd標籤是值域。獲取全部的鍵和值：
keyList
=
stockInfo
.
find_all
(
"dt"
)
valueList
=
stockInfo
.
find_all
(
"dd"
)
並把獲得的鍵和值按鍵值對的方式村放入字典中：
for
i
in
range
(
len
(
keyList
))
:
key
=
keyList
[
i
].
text
val
=
valueList
[
i
].
text
infoDict
[
key
]
=
val
6.最後把字典中的數據存入外部文件中：
with
open
(
fpath
,
"a"
,
encoding
=
"utf-8"
)
as
f
:
f
.
write
(
str
(
infoDict
)
+
"
"
)
將上述過程封裝成完成的函數，代碼如下：
def
getStockInfo
(
lst
,
stockURL
,
fpath
)
:
for
stock
in
lst
:
url
=
stockURL
+
stock
+
".html"
html
=
getHTMLText
(
url
)
try
:
if
html
==
""
:
continue
infoDict
=
{}
soup
=
BeautifulSoup
(
html
,
"html.parser"
)
stockInfo
=
soup
.
find
(
"div"
,
attrs
=
{
"class"
:
"stock-bets"
})
name
=
stockInfo
.
find_all
(
attrs
=
{
"class"
:
"bets-name"
})[
0
]
infoDict
.
update
({
"股票名稱"
:
name
.
text
.
split
()[
0
]})
keyList
=
stockInfo
.
find_all
(
"dt"
)
valueList
=
stockInfo
.
find_all
(
"dd"
)
for
i
in
range
(
len
(
keyList
))
:
key
=
keyList
[
i
].
text
val
=
valueList
[
i
].
text
infoDict
[
key
]
=
val
with
open
(
fpath
,
"a"
,
encoding
=
"utf-8"
)
as
f
:
f
.
write
(
str
(
infoDict
)
+
"
"
)
except
:
continue
其中try…except用於異常處理。
接下來編寫主函數，調用上述函數即可：
def
main
()
:
stock_list_url
=
"http://quote.eastmoney.com/stocklist.html"
stock_info_url
=
"https://gupiao.baidu.com/stock/"
output_file
=
"D:/BaiduStockInfo.txt"
slist
=
[]
getStockList
(
slist
,
stock_list_url
)
getStockInfo
(
slist
,
stock_info_url
,
output_file
)
項目完整程序
# -*- coding: utf-8 -*-
import
requests
from
bs4
import
BeautifulSoup
import
traceback
import
re
def
getHTMLText
(
url
)
:
try
:
r
=
requests
.
get
(
url
)
r
.
raise_for_status
()
r
.
encoding
=
r
.
apparent_encoding
return
r
.
text
except
:
return
""
def
getStockList
(
lst
,
stockURL
)
:
html
=
getHTMLText
(
stockURL
)
soup
=
BeautifulSoup
(
html
,
"html.parser"
)
a
=
soup
.
find_all
(
"a"
)
for
i
in
a
:
try
:
href
=
i
.
attrs
[
"href"
]
lst
.
append
(
re
.
findall
(
r
"[s][hz]d{6}"
,
href
)[
0
])
except
:
continue
def
getStockInfo
(
lst
,
stockURL
,
fpath
)
:
count
=
0
for
stock
in
lst
:
url
=
stockURL
+
stock
+
".html"
html
=
getHTMLText
(
url
)
try
:
if
html
==
""
:
continue
infoDict
=
{}
soup
=
BeautifulSoup
(
html
,
"html.parser"
)
stockInfo
=
soup
.
find
(
"div"
,
attrs
=
{
"class"
:
"stock-bets"
})
name
=
stockInfo
.
find_all
(
attrs
=
{
"class"
:
"bets-name"
})[
0
]
infoDict
.
update
({
"股票名稱"
:
name
.
text
.
split
()[
0
]})
keyList
=
stockInfo
.
find_all
(
"dt"
)
valueList
=
stockInfo
.
find_all
(
"dd"
)
for
i
in
range
(
len
(
keyList
))
:
key
=
keyList
[
i
].
text
val
=
valueList
[
i
].
text
infoDict
[
key
]
=
val
with
open
(
fpath
,
"a"
,
encoding
=
"utf-8"
)
as
f
:
f
.
write
(
str
(
infoDict
)
+
"
"
)
count
=
count
+
1
(
"
當前進度: {:.2f}%"
.
format
(
count
*
100
/
len
(
lst
)),
end
=
""
)
except
:
count
=
count
+
1
(
"
當前進度: {:.2f}%"
.
format
(
count
*
100
/
len
(
lst
)),
end
=
""
)
continue
def
main
()
:
stock_list_url
=
"http://quote.eastmoney.com/stocklist.html"
stock_info_url
=
"https://gupiao.baidu.com/stock/"
output_file
=
"D:/BaiduStockInfo.txt"
slist
=
[]
getStockList
(
slist
,
stock_list_url
)
getStockInfo
(
slist
,
stock_info_url
,
output_file
)
main
()
上述代碼中的print語句用於列印爬取的進度。執行完上述代碼後在D盤會出現BaiduStockInfo.txt文件，裡面存放了股票的信息。
看完本文有收穫？請轉
發分享給更多人
關注「P
ython開發者」，提升Python技能
※Python: 受限制的 "函數調用"
※玩轉面試演算法，帶你佔領BAT！
※用神經網路訓練一個文本分類器
※深入理解 Python 非同步編程（上）
TAG:Python開發者 |
※Python爬蟲實戰：批量採集股票數據，並保存到Excel中
※Python 爬蟲闖關
※Python爬蟲之模擬登錄wechat
※Python網路爬蟲精要
※Python爬蟲框架之pyspider
※Python爬蟲簡介
※搞定這套 Python 爬蟲面試題，面試會 so easy
※Python爬蟲之正則表達式
※Python爬蟲系列：使用selenium＋Edge查詢指定城市天氣情況
※websocket與爬蟲
※Python爬蟲學習Scrapy之Spiders
※Python爬蟲利器：Requests庫的使用
※Pyhton爬蟲實戰-抓取BOSS直聘職位描述和數據清洗
※Python爬蟲：把爬取到的數據插入到execl中
※Python 爬蟲實踐：淺談數據分析崗位
※全球最大爬蟲展——Tinley Park爬蟲展
※Python 爬蟲：字體反爬處理
※Python爬蟲實戰：《戰狼2》豆瓣影評分析
※網路爬蟲框架Scrapy詳解之Request
※node爬蟲：爬蟲基礎概覽