今天在編寫Scrapy爬蟲的時候接觸到了LinkExtractor，遂學習了一下這個鏈接提取器。 Link Extractors 是那些目的僅僅是從網頁(scrapy.http.Response 對象)中抽取最終將會被follow鏈接的對象｡使用場景就是在一個網站中通過自定義規則提取到自己想要 ...

使用背景： 　　我們通常在爬去某個網站的時候都是爬去每個標簽下的某些內容，往往一個網站的主頁后面會包含很多物品或者信息的詳細的內容，我們只提取某個大標簽下的某些內容的話，會顯的效率較低，大部分網站的都是按照固定套路（也就是固定模板，把各種信息展示給用戶），LinkExtrator就非常適合整站 ...

1. selenium在scrapy中的使用流程 重寫爬蟲文件的構造方法，在該方法中使用selenium實例化一個瀏覽器對象（因為瀏覽器對象只需要被實例化一次） 重寫爬蟲文件的closed(self,spider)方法，在其內部關閉瀏覽器對象。該方法是在爬蟲結束時被調用 ...

1. 還是以虎嗅為例,他給我返回的是一個json格式的json串 　　 2.那么我需要操作的就是把json串轉換成我們的字典格式再進行操作 　　 3.自己導入選擇器 4.使用Selector的xpath方法獲取內容 5.使用 ...

tip: 大致思路：從網絡（URL：http://ip.jiangxianli.com/api/proxy_ips）獲取代理ip以及端口，存到列表；隨機一個數從列表中取一個ip，設置超市時間以及次數 ...

之前在寫爬蟲時，都是自己寫整個爬取過程，例如向目標網站發起請求、解析網站、提取數據、下載數據等，需要自己定義這些實現方法等 這個周末把之前買的一個scrapy爬蟲課程翻了出來(拉鈎教育《52講輕松搞定網絡爬蟲》，有興趣的可以去看看)，初步學習了一下scrapy的使用方法，剛好把以前寫好的一個爬蟲 ...

在 scrapy 中使用 ip 代理需要借助中間件的功能 首先在settings 中設置好中間件，中間件優先級數字越小越先被執行 然后編寫中間件，攔截請求設置代理 ...

...