Python 爬蟲從入門到進階之路（三）
之前的文章我們做了一個簡單的例子爬取了百度首頁的 html，本篇文章我們再來看一下 Get 和 Post 請求。 在說 Get 和 Post 請求之前，我們先來看一下 url 的編碼和解碼，我們在瀏 ...
原文：Python 爬蟲從入門到進階之路（七）
在之前的文章中我們一直用到的庫是 urllib.request，該庫已經包含了平常我們使用的大多數功能，但是它的 API 使用起來讓人感覺不太好，而 Requests 自稱 HTTP for Humans ，說明使用更簡潔方便。 Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用： Requests 繼承了urllib 的所有特性。Requests支持HTTP連接 ...
2019-06-28 10:41 0 1078 推薦指數：
相關推薦
Python 爬蟲從入門到進階之路（二）
上一篇文章我們對爬蟲有了一個初步認識，本篇文章我們開始學習 Python 爬蟲實例。 在 Python 中有很多庫可以用來抓取網頁，其中內置了 urllib 模塊，該模塊就能實現我們基本的網頁爬取。 在 Python2.x 和 Python3.x 中 urllib 模塊是不一樣的，但是用法 ...
Python 爬蟲從入門到進階之路（四）
之前的文章我們做了一個簡單的例子爬取了百度首頁的 html，我們用到的是 urlopen 來打開請求，它是一個特殊的opener（也就是模塊幫我們構建好的）。但是基本的 urlopen() 方法不支持代理、cookie等其他的HTTP/HTTPS高級功能，所以我們需要用到 Python ...
Python 爬蟲從入門到進階之路（五）
在之前的文章中我們帶入了 opener 方法，接下來我們看一下 opener 應用中的 ProxyHandler 處理器（代理設置）。 使用代理IP，這是爬蟲/反爬蟲的第二大招，通常也是最好用的。 很多網站會檢測某一段時間某個IP的訪問次數(通過流量統計，系統日志等)，如果訪問次數多的不像 ...
Python 爬蟲從入門到進階之路（六）
在之前的文章中我們介紹了一下 opener 應用中的 ProxyHandler 處理器（代理設置），本篇文章我們再來看一下 opener 中的 Cookie 的使用。 Cookie 是指某些網站服務 ...
Python 爬蟲從入門到進階之路（八）
在之前的文章中我們介紹了一下 requests 模塊，今天我們再來看一下 Python 爬蟲中的正則表達的使用和 re 模塊。 實際上爬蟲一共就四個主要步驟： 明確目標 (要知道你准備在哪個范圍或者網站去搜索) 爬 (將所有的網站的內容全部爬下來) 取 (去掉對我們沒用處的數據 ...
Python 爬蟲從入門到進階之路（九）
之前的文章我們介紹了一下 Python 中的正則表達式和與爬蟲正則相關的 re 模塊，本章我們就利用正則表達式和 re 模塊來做一個案例，爬取《糗事百科》的糗事並存儲到本地。 我們要爬取的網站鏈接是 https://www.qiushibaike.com/text/page ...
Python 爬蟲從入門到進階之路（一）
通用爬蟲和聚焦爬蟲 根據使用場景，網絡爬蟲可分為 通用爬蟲 和 聚焦爬蟲 兩種. 通用爬蟲 通用網絡爬蟲 是 捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份。 通用搜索引擎（Search ...