python 3 安裝 scrapy 並運行成功

今天，python 3 安裝 scrapy， 並運行成功。特此紀念！

我的環境：windows 10(64位) + python 3.5.2(64位)

其中幾個要點說明一下：

1、有幾個依賴庫需要事先單獨安裝

往往，在安裝scrapy依賴庫，即在

pip install scrapy

過程中，會出現紅色錯誤的。此時，做兩件事

1. 更新pip: $ python pip install --upgrade pip
2. 去lfd下載單獨的whl文件，pip安裝之(若有多個依賴庫安裝出現紅色文字錯誤，則此步重復！)

2、特別地，pywin32的安裝問題

1. 去lfd下載單獨的whl文件，pip安裝之
2. 然后，運行命令$ python pywin32_postinstall.py -install，切記！

好了，運行官網首頁的例子：

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for url in response.css('ul li a::attr("href")').re('.*/category/.*'):
            yield scrapy.Request(response.urljoin(url), self.parse_titles)

    def parse_titles(self, response):
        for post_title in response.css('div.entries > ul > li a::text').extract():
            yield {'title': post_title}

保存為myspider.py文件，命令行進入此文件夾，運行如下命令，使啟動爬蟲：

scrapy runspider myspider.py

OK了，可以看到成功的信息。