1.decode()
bytes.decode(encoding=“utf-8”, errors=“strict”)
1.這個函數是bytes類型數據調用的，字符串str類型是不能夠調用的。（好多文章說字符串也可以調用該函數，我是真搞不懂。）
2.該函數返回字符串。換句話說是bytes類型轉化成str類型的函數。
3.encoding規定解碼方式。bytes數據是由什么編碼方式編碼的，該函數encoding參數就必須用相應解碼方式，這樣才能返回正確字符串。解碼后的字符串自動轉為unicode編碼方式。
4.errors參數默認為strict，即解碼錯誤后引起異常發生。其他參數值為ignore,replace等。
2.encode()
str.encode(encoding=“utf-8”, errors=“strict”)
參數含義同上。這個函數將字符串轉化成相應編碼方式的字節形式。對於ASCII字符(數字，英文，部分標點符號)而言，不同編碼方式編碼后的字節是一樣的。但是對於中文來說，編碼后的字節不一樣。
3.轉碼
例如，我有一個中文網站，網站編碼方式為gb2312，我通過requests請求后要將網頁打印出來。但是python內部是unicode編碼的，直接response.text肯定會返回亂碼。
import requests
url_all="https://www.kanunu8.com/"
header_all={
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
'upgrade-insecure-request': '1',
}
def get_classification_urls(url,headers):
try:
response=requests.get(url,headers=headers,timeout=10)
if response.status_code==200:
print(response.text))
except Exception as e:
print(e)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
如下圖，果然亂碼
這時就需要正確解碼，即將gb2312解碼為unicode(utf-8).我們可以這樣：
1.先獲取編碼的二進制格式，該格式為gb2312編碼的二進制：
bytes=response.content
- 1
2.將二進制格式通過decode()函數解碼為utf-8格式：
bytes.decode(encoding="gb2312")
- 1
decode()函數是bytes類型轉str類型，這樣就能夠返回正確的字符串了且為utf-8格式。有人會問，這里明明encoding=“gb2312”，為何最后是utf-8字符串呢？
切記：這里的encoding指的是需要轉化這個數據的編碼方式，不是目標編碼方式。不論什么編碼方式的二進制數據，通過decode函數后，統一編成utf-8編碼格式。因為utf-8格式是python里面的標准，就跟所有的幣種都要轉化成美元才能流通一樣。
當然，這個例子即使通過gb2312解碼，仍然是亂碼。原因可能是原網頁含有gb2312不能識別的字符(雖然gb2312是為中國文字服務的，但是有些少數名族的字符也屬於中國文字，但是並沒有包含在gb2312內)。后來為了擴充編碼，由在gb2312基礎上增加了gbk和gb18030編碼，二者范圍更廣。事例用gb18030即可正確解碼。
備注：equests.content返回的是二進制響應內容
而requests.text則是根據網頁的響應來猜測編碼，如果服務器不指定的話，默認編碼是"
ISO-8859-1"（我當初看到這里的時候，在想為啥默認編碼不設置為utf8呢，然后看到了原來是http協議是這樣的，所以...）所以這是為什么你用 response.text 返回的是亂碼的原因。
你可以用response.encoding看一下他猜測的編碼是啥。我猜應該是ISO-8859-1
然后你用response.encoding = 'utf-8'
然后再 response.text ，返回的內容應該是正常的了.
-
>>> r.encoding
-
'utf-8'
-
>>> r.encoding = 'ISO-8859-1'
看如下截圖，我有聲明編碼為utf8,則response.text會用utf8來解碼
簡單說就是：
- resp.text返回的是Unicode型的數據。
- resp.content返回的是bytes型也就是二進制的數據。