Python之Scrapy爬蟲框架 入門實例（一）

一、開發環境

　　1.安裝 scrapy

　　2.安裝 python2.7

　　3.安裝編輯器 PyCharm

二、創建scrapy項目pachong

　　1.在命令行輸入命令：scrapy startproject  pachong 

　　　(pachong 為項目的名稱，可以改變)

　　   

　　2.打開編輯器PyCharm，將剛剛創建的項目pachong導入。

　　  （點擊file—>選擇open—>輸入或選擇E:\pachong—>點擊ok）

　　   

三、創建scrapy爬蟲文件pachong_spider.py

　　在pachong_spider.py這個文件夾中編寫爬取網站數據的內容。

　　（右擊文件spiders—>選擇New，在選擇PhthonFile—>輸入文件名pachong_spider）

　　

四、編寫爬蟲pachong

　　將 網址  http://lab.scrapyd.cn/   博客中的所有博客標題和博客標簽，以作者名-語錄為名分別保存在各自作者對應的txt文件中。

　　1.查看http://lab.scrapyd.cn/源代碼，獲取自己所需的博客標題、作者、標簽三個內容的對應HTML標簽信息。

　　

　　2.獲取網址的內容，保存到變量pachong里。

　　（分析HTML結構，每一段需要提取的內容都被一個 <div class="quote post">……</div> 包裹。）

　　

　　3.獲取循環獲取標題、作者的第一個內容，和對應標簽的內容，並對標簽的內容進行逗號分隔后，進行分類保存。

　　

　　4.查看下一頁的HTML標簽，對下一頁獲取的內容進行循環。

　　   （查看存在不存在下一頁的鏈接，如果存在下一頁，把下一頁的內容提交給parse然后繼續爬取。如果不存在下一頁鏈接結束爬取。）

　     　

　   　

 　　5.爬蟲源代碼。 

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
#Python 默認腳本文件都是 UTF-8 編碼的,當腳本出現中文漢字時需要對其進行解碼。
import scrapy
class itemSpider(scrapy.Spider):
    # scrapy.Spider 是一個簡單的爬蟲類型。
    # 它只是提供了一個默認start_requests()實現。
    # 它從start_urlsspider屬性發送請求，並parse 為每個結果響應調用spider的方法。
    name ="pachong"
    # 定義此爬蟲名稱的字符串。
    # 它必須是唯一的。
    start_urls = ['http://lab.scrapyd.cn']
    #爬蟲抓取自己需要的網址列表。
    #該網站列表可以是多個。
    def parse(self, response):
        # 定義一個parse規則，用來爬取自己需要的網站信息。
        pachong = response.css('div.quote')
        # 用變量pachong來保存獲取網站的部分內容。
        for v in pachong:
            text = v.css('.text::text').extract_first()
            autor = v.css('.author::text').extract_first()
            tags = v.css('.tags .tag::text').extract()
            tags = ','.join(tags)
            # 循環提取所有的標題、作者和標簽內容。
            fileName = u'%s-語錄.txt' % autor
            # 文件的名稱為作者名字—語錄.txt。
            with open(fileName, "a+")as f:
                f.write(u'標題：'+text)
                f.write('\n')
                f.write(u'標簽：' + tags)
                f.write('\n------------------------------------------------\n')
                # 打開文件並寫入標題和標簽內容。
                f.close()
                # 關閉文件
            next_page = response.css('li.next a::attr(href)').extract_first()
            if next_page is not None:
                next_page = response.urljoin(next_page)
                yield scrapy.Request(next_page, callback=self.parse)
                # 查看存在不存在下一頁的鏈接，如果存在下一頁，把下一頁的內容提交給parse然后繼續爬取。
                # 如果不存在下一頁鏈接結束爬取。

 

五、運行爬蟲pachong

　　1.在命令行輸入命令：scrapy crawl  pachong

　　（在pachong的目錄下輸入命令）

　　

　　

　　2.打開e盤 pachong文件夾，已經按要求爬取網址  http://lab.scrapyd.cn/ 的內容。