Python即時網絡爬蟲項目: 內容提取器的定義


 

1. 項目背景

python 即時網絡爬蟲項目啟動說明中我們討論一個數字:程序員浪費在調測內容提取規則上的時間,從而我們發起了這個項目,把程序員從繁瑣的調測規則中解放出來,投入到更高端的數據處理工作中。

 

2. 解決方案

為了解決這個問題,我們把影響通用性和工作效率的提取器隔離出來,描述了如下的數據處理流程圖:

圖中“可插拔提取器”必須很強的模塊化,那么關鍵的接口有:

  • 標准化的輸入:以標准的HTML DOM對象為輸入
  • 標准化的內容提取:使用標准的xslt模板提取網頁內容
  • 標准化的輸出:以標准的XML格式輸出從網頁上提取到的內容
  • 明確的提取器插拔接口:提取器是一個明確定義的類,通過類方法與爬蟲引擎模塊交互

 

3. 提取器代碼

可插拔提取器是即時網絡爬蟲項目的核心組件,定義成一個類: gsExtractor
       python源代碼文件及其說明文檔請從 github 下載

使用模式是這樣的:

  • 實例化一個gsExtractor對象
  • 為這個對象設定xslt提取器,相當於把這個對象配置好(使用三類setXXX()方法)
  • 把html dom輸入給它,就能獲得xml輸出(使用extract()方法)

下面是這個gsExtractor類的源代碼

 

4. 用法示例

下面是一個示例程序,演示怎樣使用gsExtractor類提取GooSeeker官網的bbs帖子列表。本示例有如下特征:

  • 提取器所用的xslt模板提前放在文件中:xslt_bbs.xml
  • 僅作為示例,實際使用場景中,xslt來源有多個,最主流的來源是GooSeeker平台上的api
  • 在控制台界面上打印出提取結果

下面是源代碼,都可從 github 下載

提取結果如下圖所示:

 

5. 接下來閱讀

本文已經說明了提取器的價值和用法,但是沒有說怎樣生成它,只有快速生成提取器才能達到節省開發者時間的目的,這個問題將在其他文章講解,請看《Python使用xslt提取網頁數據》

 

6. 集搜客GooSeeker開源代碼下載源

1. GooSeeker開源Python網絡爬蟲GitHub源

 

7. 文檔修改歷史

2016-05-27:V2.0,增補項目背景介紹和價值說明
2016-05-27:V2.1,實現了提取器類的從GooSeeker API接口獲取xslt的方法
2016-05-29:V2.2,增加第六章:源代碼下載源,並更換github源的網址
2016-06-03:V2.3,提取器代碼更新為2.0。支持同一主題下多規則或多整理箱的情況,通過API方式獲取xslt時可以傳入參數“規則編號”和“整理箱名稱”


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM