Python 爬蟲從入門到進階之路（三）
之前的文章我們做了一個簡單的例子爬取了百度首頁的 html，本篇文章我們再來看一下 Get 和 Post 請求。 在說 Get 和 Post 請求之前，我們先來看一下 url 的編碼和解碼，我們在瀏 ...
原文：Python 爬蟲從入門到進階之路（五）
在之前的文章中我們帶入了 opener 方法，接下來我們看一下 opener 應用中的 ProxyHandler 處理器 代理設置 。 使用代理IP，這是爬蟲 反爬蟲的第二大招，通常也是最好用的。 很多網站會檢測某一段時間某個IP的訪問次數 通過流量統計，系統日志等 ，如果訪問次數多的不像正常人，它會禁止這個IP的訪問。 所以我們可以設置一些代理服務器，每隔一段時間換一個代理，就算IP被禁止，依然 ...
2019-06-26 10:31 3 894 推薦指數：
相關推薦
Python 爬蟲從入門到進階之路（二）
上一篇文章我們對爬蟲有了一個初步認識，本篇文章我們開始學習 Python 爬蟲實例。 在 Python 中有很多庫可以用來抓取網頁，其中內置了 urllib 模塊，該模塊就能實現我們基本的網頁爬取。 在 Python2.x 和 Python3.x 中 urllib 模塊是不一樣的，但是用法 ...
Python 爬蟲從入門到進階之路（四）
之前的文章我們做了一個簡單的例子爬取了百度首頁的 html，我們用到的是 urlopen 來打開請求，它是一個特殊的opener（也就是模塊幫我們構建好的）。但是基本的 urlopen() 方法不支持代理、cookie等其他的HTTP/HTTPS高級功能，所以我們需要用到 Python ...
Python 爬蟲從入門到進階之路（六）
在之前的文章中我們介紹了一下 opener 應用中的 ProxyHandler 處理器（代理設置），本篇文章我們再來看一下 opener 中的 Cookie 的使用。 Cookie 是指某些網站服務 ...
Python 爬蟲從入門到進階之路（七）
在之前的文章中我們一直用到的庫是 urllib.request，該庫已經包含了平常我們使用的大多數功能，但是它的 API 使用起來讓人感覺不太好，而 Requests 自稱 “HTTP for Humans”，說明使用更簡潔方便。 Requests 唯一的一個非轉基因的 Python ...
Python 爬蟲從入門到進階之路（八）
在之前的文章中我們介紹了一下 requests 模塊，今天我們再來看一下 Python 爬蟲中的正則表達的使用和 re 模塊。 實際上爬蟲一共就四個主要步驟： 明確目標 (要知道你准備在哪個范圍或者網站去搜索) 爬 (將所有的網站的內容全部爬下來) 取 (去掉對我們沒用處的數據 ...
Python 爬蟲從入門到進階之路（九）
之前的文章我們介紹了一下 Python 中的正則表達式和與爬蟲正則相關的 re 模塊，本章我們就利用正則表達式和 re 模塊來做一個案例，爬取《糗事百科》的糗事並存儲到本地。 我們要爬取的網站鏈接是 https://www.qiushibaike.com/text/page ...
Python 爬蟲從入門到進階之路（一）
通用爬蟲和聚焦爬蟲 根據使用場景，網絡爬蟲可分為 通用爬蟲 和 聚焦爬蟲 兩種. 通用爬蟲 通用網絡爬蟲 是 捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份。 通用搜索引擎（Search ...