接下來我們將在爬蟲主體文件中對Item的值進行填充。
1、首先在爬蟲主體文件中將Item模塊導入進來,如下圖所示。
2、第一步的意思是說將items.py中的ArticleItem類導入到爬蟲主體文件中去,將兩個文件串聯起來,其中items.py的部分內容如下圖所示。
3、將這個ArticleItem類導入之后,接下來我們就可以對這個類進行初始化,並對其進行相應值的填充。首先去parse_detail函數下對其進行實例化,實例化的方法也十分簡單,如下圖所示。
4、接下來,我們將填充對應的值。實際上我們在之前通過Xpath或者CSS選擇器已經獲取到了目標數據,如下圖所示,現在要做的就是依次填充目標字段的值。
5、我們可以像字典一樣來給目標字段傳值,例如item[“title”]= title,其他的目標字段的填充也是形如該格式,填充完成之后如下圖所示。
其中,目標字段可以參考items.py中定義的item,這樣可以加快填充的速度。
6、到這里,我們已經將需要填充的字段全部填充完成了,之后我們需要調用yield,這點十分重要。再調用yield之后,實例化后的item就會自動傳遞到pipeline當中去。可以看到下圖中的pipelines.py中默認給出的代碼,說明pipeline其實是可以接收item的。
7、到這里,關於實例化item的步驟就已經完成了,是不是比較簡單呢?我們后面把pipeline配置起來,一步一步的將Scrapy串起來。
看完本文有收獲?請轉發分享給更多的人
IT共享之家
入群請在微信后台回復【入群】
想學習更多Python網絡爬蟲與數據挖掘知識,可前往專業網站:http://pdcfighting.com/