在運行別人的scrapy項目時,使用命令行 scrapy crawl douban(douban是該項目里爬蟲的名字,爛大街的小項目---抓取豆瓣電影)。
執行之后,出現報錯如下:
上網搜尋無果。
大多數是說路徑不對,需要進入到項目工程的路徑下,然而,我在項目的路徑里。
聽從建議使用了“scrapy”命令行之后發現,能使用的命令如下:
沒有crawl,很奇怪。反復查看后,發現了那句no active project,說明我的工程有問題。
於是去看了看目錄結構。查了下手冊。在使用命令行startproject的時候,會自動生成scrapy.cfg
問題就出在這里,別人的項目文件中只有代碼,沒有配置文件,於是自己找了一個配置文件scrapy.cfg,格式如下:
將里面的名字改為當前工程名稱"douban":
將此文件保存,放在項目代碼的外面,注意是項目代碼的外面。不確定的可以看下scrapy文檔->入門教程->創建項目,其中有目錄結構。
放好,配置文件后,進入項目目錄,執行scrapy crawl douban,完美抓取。