scrapydweb：實現 Scrapyd 集群管理，Scrapy 日誌分析和可視化

（點擊

上方公眾號

，可快速關注）

來源：

my8100

juejin.im/post/5bb5d43ce51d450e616040c8

功能特性

• 
  

  Scrapyd 集群管理





• 
  

  支持通過分組和過濾選中特定伺服器節點



• 
  

  一次點擊，批量執行



• 
  

  Scrapy 日誌分析





• 
  

  統計信息展示



• 
  

  爬蟲進度可視化



• 
  

  關鍵日誌分類



• 
  

  支持所有 Scrapyd API





• 
  

  Deploy project, Run Spider, Stop job



• 
  

  List projects/versions/spiders/running_jobs



• 
  

  Delete version/project



• 
  

  其他





• 
  

  web UI 支持 Basic Auth



• 
  

  支持訪問啟用 Basic Auth 保護的 Scrapyd 伺服器

GitHub ：

歡迎 Star 和提交 Issue

安裝

通過 pip 安裝：

pip install scrapydweb複製代碼

啟動

通過命令行終端運行 "scrapydweb -h" 以查看幫助和選項. 第一次運行將在當前工作目錄生成配置文件 "scrapydweb_settings.py"，可用於自定義 Scrapyd 伺服器列表等選項.

scrapydweb複製代碼

通過瀏覽器訪問

http://127.0.0.1:5000

運行界面截圖

• 
  

  集群管理

  

  
  

  
  



• 
  

  當前節點任務列表

  

  
  

  
  



• 
  

  日誌分析





• 
  

  統計信息輸出

  

  
  

  
  



• 
  

  爬蟲進度可視化

  

  
  

  
  



• 
  

  關鍵日誌分類

  

  
  

  
  



• 
  

  部署項目

  

  
  

  
  



• 
  

  運行爬蟲

  

  
  

  
  



• 
  

  管理項目

  

【關於投稿】

如果大家有原創好文投稿，請直接給公號發送留言。

① 留言格式：

【投稿】+《 文章標題》+ 文章鏈接

② 示例：

【投稿】《不要自稱是程序員，我十多年的 IT 職場總結》：

http://blog.jobbole.com/94148/

③ 最後請附上您的個人簡介哈~

看完本文有收穫？請轉

發分享給更多人

關注「P

ython開發者」，提升Python技能

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！