scrapy爬蟲框架入門實例（一）

流程分析

抓取內容（百度貼吧：網絡爬蟲吧） 
頁面： http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8  
數據：1.帖子標題；2.帖子作者；3.帖子回復數
通過觀察頁面html代碼來幫助我們獲得所需的數據內容。

【注】scrapy的安裝請參考 ： http://blog.csdn.net/zjiang1994/article/details/52689144   

一、工程建立

在控制台模式下進入你要建立工程的文件夾執行如下命令創建工程：

scrapy startproject hellospider     

 

這里的scrapytest是工程名，框架會自動在當前目錄下創建一個同名的文件夾，工程文件就在里邊。

（如果你用過django就會發現這一幕何其相似）。

 

我的創建過程：

  

 

 

我們先看一下目錄結構：

  

scrapy.cfg: 項目的配置文件

hellospider/: 該項目的python模塊。之后您將在此加入代碼。

hellospider/items.py:需要提取的數據結構定義文件。

hellospider/middlewares.py: 是和Scrapy的請求/響應處理相關聯的框架。

hellospider/pipelines.py: 用來對items里面提取的數據做進一步處理，如保存等。

hellospider/settings.py: 項目的配置文件。

hellospider/spiders/: 放置spider代碼的目錄。

 

二、實現過程

1、在items.py中定義自己要抓取的數據：

import scrapy


class DetailItem(scrapy.Item):
    # 抓取內容：1.帖子標題；2.帖子作者；3.帖子回復數
    title = scrapy.Field()
    author = scrapy.Field()
    reply = scrapy.Field()

 

【注】上面類中的title、author、reply就像是字典中的“鍵”，爬到的數據就像似字典中的“值”。

2、然后在spiders目錄下編輯myspider.py那個文件：

import scrapy
from hellospider.items import DetailItem
import sys


class MySpider(scrapy.Spider):
    """
    name:scrapy唯一定位實例的屬性，必須唯一
    allowed_domains：允許爬取的域名列表，不設置表示允許爬取所有
    start_urls：起始爬取列表
    start_requests：它就是從start_urls中讀取鏈接，然后使用make_requests_from_url生成Request，
                    這就意味我們可以在start_requests方法中根據我們自己的需求往start_urls中寫入
                    我們自定義的規律的鏈接
    parse：回調函數，處理response並返回處理后的數據和需要跟進的url
    log：打印日志信息
    closed：關閉spider
    """
    # 設置name
    name = "spidertieba"
    # 設定域名
    allowed_domains = ["baidu.com"]
    # 填寫爬取地址
    start_urls = [
        "http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8",
    ]

    # 編寫爬取方法
    def parse(self, response):
        for line in response.xpath('//li[@class=" j_thread_list clearfix"]'):
            # 初始化item對象保存爬取的信息
            item = DetailItem()
            # 這部分是爬取部分，使用xpath的方式選擇信息，具體方法根據網頁結構而定
            item['title'] = line.xpath('.//div[contains(@class,"threadlist_title pull_left j_th_tit ")]/a/text()').extract()
            item['author'] = line.xpath('.//div[contains(@class,"threadlist_author pull_right")]//span[contains(@class,"frs-author-name-wrap")]/a/text()').extract()
            item['reply'] = line.xpath('.//div[contains(@class,"col2_left j_threadlist_li_left")]/span/text()').extract()
            yield item

【注】xpath語法可參考：http://www.w3school.com.cn/xpath/xpath_syntax.asp 

【注】：我們可以通過命令進入scrapy shell：

           scrapy shell http://tieba.baidu.com/f?kw=%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB&ie=utf-8

 

來方便的查看我們xpath代碼所獲得的結果，以便調試。

 

 

3、執行命令 scrapy crawl [類中name值]

 

 由於第二步中我們在類MySpider下定義了 name ="spidertieba" ，所以執行命令：scrapy crawl spidertieba -o items.json。  -o  指定文件。

這樣我們就會看到此目錄下生成了items.json文件

  items.json文件的 內容就是要爬取的內容。

簡單查看一下：

#!/usr/bin/env python
# Version = 3.5.2
# __auth__ = '無名小妖'
import json

with open('hellospider/items.json') as f:
    rownum = 0
    new_list = json.load(f)
    for i in new_list:
        rownum += 1
        print("""line{}:  title:{},  author:{},  reply:{}.""".format(rownum,
                                                      i['title'][0],
                                                      i['author'][0],
                                                      i['reply'][0]))

部分結果截圖：

 

至此，scrapy的最簡單的應用就完成了。

 

后續還會有更復雜的爬蟲示例，敬請關注！

來自為知筆記(Wiz)