並發體驗:Python抓圖的8種方式
本文系作者「無名小妖」的第二篇原創投稿文章,作者通過用爬蟲示例來說明並發相關的多線程、多進程、協程之間的執行效率對比。如果你喜歡寫博客,想投稿可微信我,有稿費酬勞。
假設我們現在要在網上下載圖片,一個簡單的方法是用 requests+BeautifulSoup。註:本文所有例子都使用python3.5)
單線程
示例 1:get_photos.py
示例1進行的是順序下載,下載30張圖片的平均時間在60s左右(結果因實驗環境不同而不同)。
這個代碼能用但並不高效,怎麼才能提高效率呢?
參考開篇的示意圖,有三種方式:多進程、多線程和協程。下面我們一一說明:
我們都知道 Python 中存在 GIL(主要是Cpython),但 GIL 並不影響 IO 密集型任務,因此對於IO密集型任務而言,多線程更加適合(線程可以開100個,1000個而進程同時運行的數量受 CPU 核數的限制,開多了也沒用)
不過,這並不妨礙我們通過實驗來了解多進程。
多進程
示例2
本示例重用了示例1的部分代碼,我們只需關注使用多進程的這部分。
筆者測試了3次(使用的機器是雙核超線程,即同時只能有4個下載任務在進行),輸出分別是:19.5s、17.4s和18.6s。速度提升並不是很多,也證明了多進程不適合io密集型任務。
還有一種使用多進程的方法,那就是內置模塊futures中的ProcessPoolExecutor。
示例3
使用 ProcessPoolExecutor 代碼簡潔了不少,executor.map 和標準庫中的 map用法類似。耗時和示例2相差無幾。多進程就到這裡,下面來體驗一下多線程。
多線程
示例4
threading 和 multiprocessing 的語法基本一樣,但是速度在9s左右,相較多進程提升了1倍。
下面的示例5和示例6中分別使用內置模塊 futures.ThreadPoolExecutor 中的 map 和submit、as_completed
示例5
示例6:
Executor.map 由於和內置的map用法相似所以更易於使用,它有個特性:返回結果的順序與調用開始的順序一致。不過,通常更可取的方式是,不管提交的順序,只要有結果就獲取。
為此,要把 Executor.submit 和 futures.as_completed結合起來使用。
最後到了協程,這裡分別介紹 gevent 和 asyncio。
gevent
示例7
asyncio
示例8
協程的耗時和多線程相差不多,區別在於協程是單線程。具體原理限於篇幅這裡就不贅述了。
但是我們不得不說一下asyncio,asyncio是Python3.4加入標準庫的,在3.5為其添加async和await關鍵字。或許對於上述多線程多進程的例子你稍加研習就能掌握,但是想要理解asyncio你不得不付出更多的時間和精力。
另外,使用線程寫程序比較困難,因為調度程序任何時候都能中斷線程。必須保留鎖以保護程序,防止多步操作在執行的過程中中斷,防止數據處於無效狀態。
而協程默認會做好全方位保護,我們必須顯式產出才能讓程序的餘下部分運行。對協程來說,無需保留鎖,在多個線程之間同步操作,協程自身就會同步,因為在任意時刻只有一個協程運行。想交出控制權時,可以使用 yield 或 yield from(await) 把控制權交還調度程序。
總結
本篇文章主要是將python中並發相關的模塊進行基本用法的介紹,全做拋磚引玉。而這背後相關的進程、線程、協程、阻塞io、非阻塞io、同步io、非同步io、事件驅動等概念和asyncio的用法並未介紹。大家感興趣的話可以自行google或者百度,也可以在下方留言,大家一起探討。
(如果本文對你有幫助,可以對作者打賞)
※Python編程語言學習得怎麼樣,看你是否正真入行Python領域
※Python如何自動下載文件
TAG:Python |