1. 項目背景
在python 即時網絡爬蟲項目啟動說明中我們討論一個數字:程序員浪費在調測內容提取規則上的時間,從而我們發起了這個項目,把程序員從繁瑣的調測規則中解放出來,投入到更高端的數據處理工作中。
2. 解決方案
為了解決這個問題,我們把影響通用性和工作效率的提取器隔離出來,描述了如下的數據處理流程圖:
圖中“可插拔提取器”必須很強的模塊化,那么關鍵的接口有:
- 標准化的輸入:以標准的HTML DOM對象為輸入
- 標准化的內容提取:使用標准的xslt模板提取網頁內容
- 標准化的輸出:以標准的XML格式輸出從網頁上提取到的內容
- 明確的提取器插拔接口:提取器是一個明確定義的類,通過類方法與爬蟲引擎模塊交互
3. 提取器代碼
可插拔提取器是即時網絡爬蟲項目的核心組件,定義成一個類: gsExtractor
python源代碼文件及其說明文檔請從 github 下載
使用模式是這樣的:
- 實例化一個gsExtractor對象
- 為這個對象設定xslt提取器,相當於把這個對象配置好(使用三類setXXX()方法)
- 把html dom輸入給它,就能獲得xml輸出(使用extract()方法)
下面是這個gsExtractor類的源代碼
4. 用法示例
下面是一個示例程序,演示怎樣使用gsExtractor類提取GooSeeker官網的bbs帖子列表。本示例有如下特征:
- 提取器所用的xslt模板提前放在文件中:xslt_bbs.xml
- 僅作為示例,實際使用場景中,xslt來源有多個,最主流的來源是GooSeeker平台上的api
- 在控制台界面上打印出提取結果
下面是源代碼,都可從 github 下載
提取結果如下圖所示:
5. 接下來閱讀
本文已經說明了提取器的價值和用法,但是沒有說怎樣生成它,只有快速生成提取器才能達到節省開發者時間的目的,這個問題將在其他文章講解,請看《Python使用xslt提取網頁數據》。
6. 集搜客GooSeeker開源代碼下載源
1. GooSeeker開源Python網絡爬蟲GitHub源
7. 文檔修改歷史
2016-05-27:V2.0,增補項目背景介紹和價值說明
2016-05-27:V2.1,實現了提取器類的從GooSeeker API接口獲取xslt的方法
2016-05-29:V2.2,增加第六章:源代碼下載源,並更換github源的網址
2016-06-03:V2.3,提取器代碼更新為2.0。支持同一主題下多規則或多整理箱的情況,通過API方式獲取xslt時可以傳入參數“規則編號”和“整理箱名稱”