學習分享 Java爬蟲偽代碼

之前一直有個同事想讓我教教他怎麼把csdn上的數據爬下來的，我在這裡就簡單的說一下～～話說做爬蟲我也不是專業的～～業餘的～～有什麼問題幫我指正就好～～

為什麼是偽代碼呢？就是給大家把原理講講～～真實代碼我就不在這裡寫了～～大家自己琢磨去吧～～

需要如下幾個工具

1、緩存：我採用的是redis～～經常做後台習慣用了～

3、網路鏈接工具

話說後面兩個我直接就用jsoup了

我個人的話是先做了一個緩存url方法

類的樣子大概是這樣的

//這也可以作為一個入口 save (url)｛ if(redis.get(url) 存在){ return }else{ redis.put(url); savedate（url）； } ｝

又做了一個下載數據的

savedate(url){ dom = 讀取（url）; dom.存儲你想存的數據（）； List = dom.讀取（）; for(String url:list){ //遞歸調用 save(url)； } }

這是個最簡單的小栗子

但是呢～～你如果真用這個去寫個爬蟲的話～～

額～～為什麼呢～～如果這麼遞歸下去～～肯定棧溢出了～～

所以還有好多工作要做～

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！