【網絡爬蟲學習】第一個Python爬蟲程序 & 編碼與解碼詳解 & Pythonの實現

本文轉載自查看原文 2021-09-05 21:06 112 課程——網絡爬蟲

本節編寫一個最簡單的爬蟲程序，作為學習 Python 爬蟲前的開胃小菜。

下面使用 Python 內置的 urllib 庫獲取網頁的 html 信息。注意，urllib 庫屬於 Python 的標准庫模塊，無須單獨安裝，它是 Python 爬蟲的常用模塊。

獲取網頁html信息

1) 獲取響應對象

向百度（http://www.baidu.com/）發起請求，獲取百度首頁的 HTML 信息，代碼如下：

# 導包,發起請求使用urllib庫的request請求模塊
import urllib.request

# urlopen()向URL發請求,返回響應對象,注意url必須完整
responese = urllib.request.urlopen('https://www.baidu.com/')
print(responese)

上述代碼會返回百度首頁的響應對象，其中 urlopen() 表示打開一個網頁地址。

注意：請求的 url 必須帶有 http 或者 https 傳輸協議。

輸出結果，如下所示：

<http.client.HTTPResponse object at 0x032F0F90>

上述代碼也有另外一種導包方式，也就是使用 from，代碼如下所示：

# 發起請求使用urllib庫的request請求模塊
from urllib import request

responese = request.urlopen('https://www.baidu.com/')
print(responese)

2) 輸出HTML信息

在上述代碼的基礎上繼續編寫如下代碼：

# 提取響應內容
html = responese.read().decode('utf-8')
# 打印響應內容
print(html)

輸出結果如下，由於篇幅過長，此處只做了簡單顯示：

<http.client.HTTPResponse object at 0x03678E68>
<html>
<head>
        <script>
                location.replace(location.href.replace("https://","http://"));
        </script>
</head>
<body>
        <noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>   
</body>
</html>

通過調用 response 響應對象的 read() 方法提取 HTML 信息，該方法返回的結果是字節串類型(bytes)，因此需要使用 decode() 轉換為字符串。程序完整的代碼程序如下：

# 發起請求使用urllib庫的request請求模塊
from urllib import request

responese = request.urlopen('https://www.baidu.com/')
print(responese)

# 提取響應內容
html = responese.read().decode('utf-8')
# 打印響應內容
print(html)

通過上述代碼獲取了百度首頁的 html 信息，這是最簡單、最初級的爬蟲程序。后續我們還學習如何分析網頁結構、解析網頁數據，以及存儲數據等。

常用方法

在本節您認識了第一個爬蟲庫 urllib，下面關於 urllib 做簡單總結。

1) urlopen()

表示向網站發起請求並獲取響應對象，如下所示：

urllib.request.urlopen(url,timeout)

urlopen() 有兩個參數，說明如下：

url：表示要爬取數據的 url 地址。
timeout：設置等待超時時間，指定時間內未得到響應則拋出超時異常。

2) Request()

該方法用於創建請求對象、包裝請求頭，比如重構 User-Agent（即用戶代理，指用戶使用的瀏覽器）使程序更像人類的請求，而非機器。重構 User-Agent 是爬蟲和反爬蟲斗爭的第一步。在下一節會做詳細介紹。

urllib.request.Request(url, headers)

參數說明如下：

url：請求的URL地址。
headers：重構請求頭。

3) html響應對象方法

bytes = response.read() # read()返回結果為 bytes 數據類型
string = response.read().decode() # decode()將字節串轉換為 string 類型
url = response.geturl() # 返回響應對象的URL地址
code = response.getcode() # 返回請求時的HTTP響應碼

4) 編碼解碼操作

#字符串轉換為字節碼
string.encode("utf-8") 
#字節碼轉換為字符串
bytes.decode("utf-8")

\[QAQ \]

既然這里提到了解碼以及編碼就稍微進階一下...

請注意，本部分來自阮一峰的網絡日志 & C語言中文網的URL編碼/解碼詳解

URL就是網址，只要上網，就一定會用到。

一般來說，URL只能使用英文字母、阿拉伯數字和某些標點符號，不能使用其他文字和符號。比如，世界上有英文字母的網址"http://www.abc.com"，但是沒有希臘字母的網址"http://www.aβγ.com"（讀作阿爾法-貝塔-伽瑪.com）。這是因為網絡標准RFC 1738做了硬性規定：

"...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*'()," [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL."

"只有字母和數字[0-9a-zA-Z]、一些特殊符號"$-_.+!*'(),"[不包括雙引號]、以及某些保留字，才可以不經過編碼直接用於URL。"

~~關於漢字部分的詳解請移步自：Here 進行學習，這里不多介紹了。~~

當 URL 路徑或者查詢參數中，帶有中文或者特殊字符的時候，就需要對 URL 進行編碼（采用十六進制編碼格式）。URL 編碼的原則是使用安全字符去表示那些不安全的字符。

PS：安全字符，指的是沒有特殊用途或者特殊意義的字符。

URL基本組成

URL 是由一些簡單的組件構成，比如協議、域名、端口號、路徑和查詢字符串等，示例如下：

https://www.cnblogs.com/RioTian/index?param=10

路徑和查詢字符串之間使用問號?隔開。上述示例的域名為 www.cnblogs.com/RioTian/，路徑為 index，查詢字符串為 param=10。

URL 中規定了一些具有特殊意義的字符，常被用來分隔兩個不同的 URL 組件，這些字符被稱為保留字符。例如：

冒號：用於分隔協議和主機組件，斜杠用於分隔主機和路徑
?：用於分隔路徑和查詢參數等。
=用於表示查詢參數中的鍵值對。
&符號用於分隔查詢多個鍵值對。

其余常用的保留字符有：/ . ... # @ $ + ; %

哪些字符需要編碼

URL 之所以需要編碼，是因為 URL 中的某些字符會引起歧義，比如 URL 查詢參數中包含了”&”或者”%”就會造成服務器解析錯誤；再比如，URL 的編碼格式采用的是 ASCII 碼而非 Unicode 格式，這表明 URL 中不允許包含任何非 ASCII 字符（比如中文），否則就會造成 URL 解析錯誤。

URL 編碼協議規定（RFC3986 協議）：URL 中只允許使用 ASCII 字符集可以顯示的字符，比如英文字母、數字、和- _ . ~ ! *這 6 個特殊字符。當在 URL 中使用不屬於 ASCII 字符集的字符時，就要使用特殊的符號對該字符進行編碼，比如空格需要用%20來表示。

除了無法顯示的字符需要編碼外，還需要對 URL 中的部分保留字符和不安全字符進行編碼。下面列舉了部分不安全字符：

[ ] < > " "  { } | \ ^ * · ‘ ’ 等

下面示例，查詢字符串中包含一些特殊字符，這些特殊字符不需要編碼：

http://www.biancheng.net/index?param=10!*&param1=20!-~_

下表對 URL 中部分保留字符和不安全字符進行了說明：

字符（URL特殊字符編碼）	含義	十六進制值編碼
+	URL 中 + 號表示空格	%2B
空格	URL中的空格可以編碼為 + 號或者 %20	%20
/	分隔目錄和子目錄	%2F
?	分隔實際的 URL 和參數	%3F
%	指定特殊字符	%25
#	表示書簽	%23
&	URL 中指定的參數間的分隔符	%26
=	URL 中指定參數的值	%3D

下面簡單總結一下，哪些字符需要編碼，分為以下三種情況：

ASCII 表中沒有對應的可顯示字符，例如，漢字。
不安全字符，包括：# ”% <> [] {} | \ ^ ` 。
部分保留字符，即 & / : ; = ? @ 。

Python實現編碼與解碼

Python 的標准庫urllib.parse模塊中提供了用來編碼和解碼的方法，分別是 urlencode() 與 unquote() 方法。

方法	說明
urlencode()	該方法實現了對 url 地址的編碼操作
unquote()	該方法將編碼后的 url 地址進行還原，被稱為解碼

1) 編碼urlencode()

下面以百度搜索為例進行講解。首先打開百度首頁，在搜索框中輸入“爬蟲”，然后點擊“百度一下”。當搜索結果顯示后，此時地址欄的 URL 信息，如下所示：

https://www.baidu.com/s?wd=爬蟲&rsv_spt=1&rsv_iqid=0xa3ca348c0001a2ab&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_dl=ib&rsv_sug3=8&rsv_sug1=7&rsv_sug7=101

可以看出 URL 中有很多的查詢字符串，而第一個查詢字符串就是“wd=爬蟲”，其中 wd 表示查詢字符串的鍵，而“爬蟲”則代表您輸入的值。

在網頁地址欄中刪除多余的查詢字符串，最后顯示的 URL 如下所示：

https://www.baidu.com/s?wd=爬蟲

使用搜索修改后的 URL 進行搜索，依然會得到相同頁面。因此可知“wd”參數是百度搜索的關鍵查詢參數。下面編寫爬蟲程序對 “wd=爬蟲”進行編碼，如下所示：

from urllib import request
from urllib import parse

# 構建查詢字符串字典
query_string = {'wd': '爬蟲'}
# 調用parse模塊的urlencode()進行編碼
result = parse.urlencode(query_string)
# 使用format函數格式化字符串，拼接url地址
url = 'http://www.baidu.com/s?{}'.format(result)
print(url)

輸出結果，如下所示：

wd=%E7%88%AC%E8%99%AB
http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB

編碼后的 URL 地址依然可以通過地網頁址欄實現搜索功能。

除了使用 urlencode() 方法之外，也可以使用 quote(string) 方法實現編碼，代碼如下：

from urllib import parse

# 注意url的書寫格式，和 urlencode存在不同
url = 'http://www.baidu.com/s?wd={}'
word = input('請輸入要搜索的內容: ')
# quote() 只能對字符串編碼
query_string = parse.quote(word)
print(url.format(query_string))

輸出結果如下：

輸入：請輸入要搜索的內容:RioTian博客園
輸出：http://www.baidu.com/s?wd=RioTian%E5%8D%9A%E5%AE%A2%E5%9B%AD

編碼后的 URL 地址依然可以通過地網頁址欄實現搜索功能。

除了使用 urlencode() 方法之外，也可以使用 quote(string) 方法實現編碼，代碼如下：

from urllib import parse

# 注意url的書寫格式，和 urlencode存在不同
url = 'http://www.baidu.com/s?wd={}'
word = input('請輸入要搜索的內容: ')
# quote() 只能對字符串編碼
query_string = parse.quote(word)
print(url.format(query_string))

輸出結果如下：

請輸入要搜索的內容: RioTian
http://www.baidu.com/s?wd=RioTian

注意：quote() 只能對字符串編碼，而 urlencode() 可以直接對查詢字符串字典進行編碼。因此在定義 URL 時，需要注意兩者之間的差異。方法如下：

# urllib.parse
urllib.parse.urlencode({'key':'value'}) #字典
urllib.parse.quote(string) #字符串

2) 解碼unquote(string)

解碼是對編碼后的 URL 進行還原的一種操作，示例代碼如下：

from urllib import parse

string = '%E7%88%AC%E8%99%AB'
print(parse.unquote(string))

輸出結果：

爬蟲

3) URL地址拼接方式

最后，給大家介紹三種拼接 URL 地址的方法。除了使用 format() 函數外，還可以使用字符串相加，以及字符串占位符，總結如下：

似乎以前也寫過（霧QAQ）

# 1、字符串相加
baseurl = 'http://www.baidu.com/s?'
params = 'wd=%E7%88%AC%E8%99%AB'
url = baseurl + params

# 2、字符串格式化（占位符）
params = 'wd=%E7%88%AC%E8%99%AB'
url = 'http://www.baidu.com/s?%s' % params

# 3、format()方法
url = 'http://www.baidu.com/s?{}'
params = 'wd=%E7%88%AC%E8%99%AB'
url = url.format(params)

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 python爬蟲（二）——第一個爬蟲程序 python爬蟲__第一個爬蟲程序《用python寫網絡爬蟲》編寫第一個網絡爬蟲第一個python爬蟲程序我的第一個爬蟲程序：利用Python抓取網頁上的信息開始第一個自己的python爬蟲程序爬磁力鏈我的第一個Python爬蟲——談心得 Python 爬蟲3——第一個爬蟲腳本的創建 Python爬蟲01——第一個小爬蟲第一個用python3寫的爬蟲小例子