python爬蟲實戰，干翻一個網站，爬取資源鏈接並用多線程下載！
點擊上方「
Python開發
」，選擇「置頂公眾號」
關鍵時刻，第一時間送達！
作者：Python新世界
來源：簡書
https://www.jianshu.com/p/e5e092573511
Python開發整理髮布，轉載請聯繫作者獲得授權
爬取資源鏈接並用多線程下載，其實說是這樣說，不過我覺得如果不是有什麼特殊用處就不要去下載了，畢竟一個視頻就占那麼大的內存，爬好鏈接地址就可以了。當然如果你是要爬那種網站，那麼下載一點點備用我也能夠理解。
先不說楚楓的這般年紀，能夠踏入元武一重說明了什麼，最主要的是，楚楓在剛剛踏入核心地帶時，明明只是靈武七重，而在這兩個月不到的時間，連跳兩重修為，又跳過一個大境界，踏入了元武一重，這般進步速度，簡直堪稱變態啊。
「這楚楓不簡單，原來是一位天才，若是讓他繼續成長下去，絕對能成為一號人物，不過可惜，他太狂妄了，竟與龔師兄定下生死約戰，一年時間，他再厲害也無法戰勝龔師兄。」有人認識到楚楓的潛力後，為楚楓感到惋惜。
「哼，何須一年，此子今日就必敗，巫九與龔師兄關係甚好，早就看他不順眼了，如今他竟敢登上生死台挑戰巫九，巫九豈會放過他？」但也有人認為，楚楓今日就已是在劫難逃。
「何人挑戰老子？」就在這時，又是一聲爆喝響起，而後一道身影自人群之中掠出，最後穩穩的落在了比斗台上。
這位身材瘦弱，身高平平，長得那叫一個猥瑣，金鉤鼻子蛤蟆眼，嘴巴一張牙帶色兒，說話臭氣能傳三十米，他若是當面對誰哈口氣，都能讓那人跪在地上狂嘔不止。
不過別看這位長得不咋地，他在核心地帶可是鼎鼎有名，劍道盟創建者，青龍榜第九名，正是巫九是也。
「你就是巫九？」楚楓眼前一亮，第一次發現，世間還有長得如此奇葩的人。
巫九鼻孔一張，大嘴一咧，拍著那乾癟的肚子，得意洋洋的道：「老子就是巫九，你挑戰老子？」
「不是挑戰你，是要宰了你。」楚楓冷聲笑道。
「好，老子滿足你這個心愿，長老，拿張生死狀來，老子今日在這裡了解了這小子。」巫九扯開嗓子，對著下方吼了一聲。
如果他對內門長老這麼說話，也就算了，但是敢這麼跟核心長老說話的，他可真是算作膽肥的，就連許多核心弟子，都是倒吸了一口涼氣，心想這楚楓夠狂，想不到這巫九更狂。
不過最讓人無言的就是，巫九話音落下不久，真有一位核心長老自人群走出，緩緩得來到了比斗台上，左手端著筆墨，右手拿著生死狀，來到了巫九的身前。
「我去，這巫九什麼身份，竟能這般使喚核心長老？」有人吃驚不已，那長老修為不低，乃是元武七重，比巫九還要高兩個層次，但卻這般聽巫九的話，著實讓人吃驚不已。
「這你就不知道了吧，巫九在前些時日，拜了鍾離長老為師尊，已正式得到鍾離長老的親傳。」有人解釋道。
「鍾離長老？可是那位性情古怪的鐘離一護？」
「沒錯，就是他。」
「天哪，巫九竟然拜入了他的門下？」
人們再次大吃一驚，那鍾離一護在青龍宗可是赫赫有名，若要是論其個人實力，在青龍宗內絕對能夠排入前三，連護宗六老單打獨鬥都不會是他的對手。
只不過那鍾離一護，如同諸葛青雲一樣，也是一位客卿長老，所以在青龍宗內只是掛個頭銜，什麼事都不管，更別說傳授宗內弟子技藝了，如今巫九竟然能拜入他老人家門下，著實讓人羨慕不已。
「恩怨生死台，的確可以決鬥生死，但必須要有所恩怨，你們兩個人，可有恩怨？」那位長老開口詢問道。
先不說楚楓的這般年紀，能夠踏入元武一重說明了什麼，最主要的是，楚楓在剛剛踏入核心地帶時，明明只是靈武七重，而在這兩個月不到的時間，連跳兩重修為，又跳過一個大境界，踏入了元武一重，這般進步速度，簡直堪稱變態啊。
「這楚楓不簡單，原來是一位天才，若是讓他繼續成長下去，絕對能成為一號人物，不過可惜，他太狂妄了，竟與龔師兄定下生死約戰，一年時間，他再厲害也無法戰勝龔師兄。」有人認識到楚楓的潛力後，為楚楓感到惋惜。
「哼，何須一年，此子今日就必敗，巫九與龔師兄關係甚好，早就看他不順眼了，如今他竟敢登上生死台挑戰巫九，巫九豈會放過他？」但也有人認為，楚楓今日就已是在劫難逃。
「何人挑戰老子？」就在這時，又是一聲爆喝響起，而後一道身影自人群之中掠出，最後穩穩的落在了比斗台上。
這位身材瘦弱，身高平平，長得那叫一個猥瑣，金鉤鼻子蛤蟆眼，嘴巴一張牙帶色兒，說話臭氣能傳三十米，他若是當面對誰哈口氣，都能讓那人跪在地上狂嘔不止。
不過別看這位長得不咋地，他在核心地帶可是鼎鼎有名，劍道盟創建者，青龍榜第九名，正是巫九是也。
「你就是巫九？」楚楓眼前一亮，第一次發現，世間還有長得如此奇葩的人。
巫九鼻孔一張，大嘴一咧，拍著那乾癟的肚子，得意洋洋的道：「老子就是巫九，你挑戰老子？」
「不是挑戰你，是要宰了你。」楚楓冷聲笑道。
「好，老子滿足你這個心愿，長老，拿張生死狀來，老子今日在這裡了解了這小子。」巫九扯開嗓子，對著下方吼了一聲。
如果他對內門長老這麼說話，也就算了，但是敢這麼跟核心長老說話的，他可真是算作膽肥的，就連許多核心弟子，都是倒吸了一口涼氣，心想這楚楓夠狂，想不到這巫九更狂。
不過最讓人無言的就是，巫九話音落下不久，真有一位核心長老自人群走出，緩緩得來到了比斗台上，左手端著筆墨，右手拿著生死狀，來到了巫九的身前。
「我去，這巫九什麼身份，竟能這般使喚核心長老？」有人吃驚不已，那長老修為不低，乃是元武七重，比巫九還要高兩個層次，但卻這般聽巫九的話，著實讓人吃驚不已。
「這你就不知道了吧，巫九在前些時日，拜了鍾離長老為師尊，已正式得到鍾離長老的親傳。」有人解釋道。
「鍾離長老？可是那位性情古怪的鐘離一護？」
「沒錯，就是他。」
「天哪，巫九竟然拜入了他的門下？」
人們再次大吃一驚，那鍾離一護在青龍宗可是赫赫有名，若要是論其個人實力，在青龍宗內絕對能夠排入前三，連護宗六老單打獨鬥都不會是他的對手。
只不過那鍾離一護，如同諸葛青雲一樣，也是一位客卿長老，所以在青龍宗內只是掛個頭銜，什麼事都不管，更別說傳授宗內弟子技藝了，如今巫九竟然能拜入他老人家門下，著實讓人羨慕不已。
「恩怨生死台，的確可以決鬥生死，但必須要有所恩怨，你們兩個人，可有恩怨？」那位長老開口詢問道。
需要用到的Python第三方庫
1 . requests
BeautifulSoup
lxml
第一步：Python爬取視頻資源的鏈接地址
第二步：
進入選擇的電影的頁面 ，獲得視頻的鏈接
第三步：
構造下載視頻需要用到的參數第四步：
下載視頻並保存到電腦本地特點：
多線程
信號量實現
默認開啟5條線程開始操作（可修改）
每條線程下載一套視頻，5條即5套
實現代碼
【點擊成為Java大神】
※婚禮小記：用Twilio，Python和Google打造我的自動化婚禮
※利用11行Python代碼, 盜取了室友的U盤, 內容十分刺激！
TAG:Python開發 |