【Python爬蟲實戰】爬取糗事百科段子

items = re.findall(pattern,content)

for item in items:

print item[0],item[1],item[2],item[3],item[4]

現在正則表達式在這裡稍作說明

1）.*? 是一個固定的搭配，.和*代表可以匹配任意無限多個字元，加上？表示使用非貪婪模式進行匹配，也就是我們會儘可能短地做匹配，以後我們還會大量用到 .*? 的搭配。

2）(.*?)代表一個分組，在這個正則表達式中我們匹配了五個分組，在後面的遍歷item中，item[0]就代表第一個(.*?)所指代的內容，item[1]就代表第二個(.*?)所指代的內容，以此類推。

3）re.S 標誌代表在匹配時為點任意匹配模式，點 . 也可以代表換行符。

現在我們可以看一下部分運行結果

儒雅男神 2015-02-17 14:34:42

小時候一個一個拆著放的舉個爪…

7093

奇怪的名字啊 2015-02-17 14:49:16

回家的路，你追我趕，回家的心情和窗外的陽光一樣燦爛。一路向前，離親人越來越近了。哪裡有爸媽哪裡才是家，希望所有糗友的爸爸媽媽都身體健康…….

4803

這是其中的兩個段子，分別列印了發布人，發布時間，發布內容，附加圖片以及點贊數。

其中，附加圖片的內容我把圖片代碼整體摳了出來，這個對應item[3]，所以我們只需要進一步判斷item[3]裡面是否含有img這個字樣就可以進行過濾了。

好，我們再把上述代碼中的for循環改為下面的樣子

for item in items:

haveImg = re.search("img",item[3])

if not haveImg:

print item[0],item[1],item[2],item[4]

現在，整體的代碼如下

# -*- coding:utf-8 -*-

import urllib

import urllib2

import re

page = 1

url = "http://www.qiushibaike.com/hot/page/" + str(page)

user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"

headers = { "User-Agent" : user_agent }

try:

request = urllib2.Request(url,headers = headers)

response = urllib2.urlopen(request)

content = response.read().decode("utf-8")

pattern = re.compile(".*?.*?(.*?).*?

"="content".*?title="(.*?)">(.*?)

items = re.findall(pattern,content)

for item in items:

haveImg = re.search("img",item[3])

if not haveImg:

print item[0],item[1],item[2],item[4]

except urllib2.URLError, e:

if hasattr(e,"code"):

print e.code

if hasattr(e,"reason"):

print e.reason

運行一下看下效果

恩，帶有圖片的段子已經被剔除啦。是不是很開森？

3.完善交互，設計面向對象模式

好啦，現在最核心的部分我們已經完成啦，剩下的就是修一下邊邊角角的東西，我們想達到的目的是：

按下回車，讀取一個段子，顯示出段子的發布人，發布日期，內容以及點贊個數。

另外我們需要設計面向對象模式，引入類和方法，將代碼做一下優化和封裝，最後，我們的代碼如下所示

__author__ = "CQC"

# -*- coding:utf-8 -*-

import urllib

import urllib2

import re

import thread

import time

#糗事百科爬蟲類

class QSBK:

#初始化方法，定義一些變數

def __init__(self):

self.pageIndex = 1

self.user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"

#初始化headers

self.headers = { "User-Agent" : self.user_agent }

#存放段子的變數，每一個元素是每一頁的段子們

self.stories = []

#存放程序是否繼續運行的變數

self.enable = False

#傳入某一頁的索引獲得頁面代碼

def getPage(self,pageIndex):

try:

url = "http://www.qiushibaike.com/hot/page/" + str(pageIndex)

#構建請求的request

request = urllib2.Request(url,headers = self.headers)

#利用urlopen獲取頁面代碼

response = urllib2.urlopen(request)

#將頁面轉化為UTF-8編碼

pageCode = response.read().decode("utf-8")

return pageCode

except urllib2.URLError, e:

if hasattr(e,"reason"):

print u"連接糗事百科失敗,錯誤原因",e.reason

return None

#傳入某一頁代碼，返回本頁不帶圖片的段子列表

def getPageItems(self,pageIndex):

pageCode = self.getPage(pageIndex)

if not pageCode:

print "頁面載入失敗...."

return None

pattern = re.compile(".*?.*?(.*?).*?

"="content".*?title="(.*?)">(.*?)

items = re.findall(pattern,pageCode)

#用來存儲每頁的段子們

pageStories = []

#遍歷正則表達式匹配的信息

for item in items:

#是否含有圖片

haveImg = re.search("img",item[3])

#如果不含有圖片，把它加入list中

if not haveImg:

#item[0]是一個段子的發布者，item[1]是發布時間,item[2]是內容，item[4]是點贊數

pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[4].strip()])

return pageStories

#載入並提取頁面的內容，加入到列表中

def loadPage(self):

#如果當前未看的頁數少於2頁，則載入新一頁

if self.enable == True:

if len(self.stories) < 2:

#獲取新一頁

pageStories = self.getPageItems(self.pageIndex)

#將該頁的段子存放到全局list中

if pageStories:

self.stories.append(pageStories)

#獲取完之後頁碼索引加一，表示下次讀取下一頁

self.pageIndex += 1

#調用該方法，每次敲回車列印輸出一個段子

def getOneStory(self,pageStories,page):

#遍歷一頁的段子

for story in pageStories:

#等待用戶輸入

input = raw_input()

#每當輸入回車一次，判斷一下是否要載入新頁面

self.loadPage()

#如果輸入Q則程序結束

if input == "Q":

self.enable = False

return

print u"第%d頁 發布人:%s 發布時間:%s %s 贊:%s " %(page,story[0],story[1],story[2],story[3])

#開始方法

def start(self):

print u"正在讀取糗事百科,按回車查看新段子，Q退出"

#使變數為True，程序可以正常運行

self.enable = True

#先載入一頁內容

self.loadPage()

#局部變數，控制當前讀到了第幾頁

nowPage = 0

while self.enable:

if len(self.stories)>0:

#從全局list中獲取一頁的段子

pageStories = self.stories[0]

#當前讀到的頁數加一

nowPage += 1

#將全局list中第一個元素刪除，因為已經取出

del self.stories[0]

#輸出該頁的段子

self.getOneStory(pageStories,nowPage)

spider = QSBK()

spider.start()

好啦，大家來測試一下吧，點一下回車會輸出一個段子，包括發布人，發布時間，段子內容以及點贊數，是不是感覺爽爆了！

我們第一個爬蟲實戰項目介紹到這裡，歡迎大家繼續關注，小夥伴們加油！

• 
  

  來自：靜覓丨崔慶才的個人博客



• 
  

  鏈接：http://cuiqingcai.com/990.html



• 
  

  程序員大咖整理髮布，轉載請聯繫作者獲得授權。

↙點擊「

閱讀原文

」，加入

『程序員大咖』

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！