python2和3在處理字符串上的區別


python2和python3對於字符串的處理有很大的區別

熟悉了python2的寫法用python3時真的會遇到很多問題啊……

區別

python2中有一種類型叫做unicode型,例

type(u"a") => str型
type("a".decode('utf8')) => unicode型

兩者返回的類型都是unicode型
而在python3中,所有的字符串都是unicode,所以就不存在單獨的unicode型,全部都是字符串型

type(u"a") => str型
type("a".decode('utf8')) => 報錯,python3不能這樣寫

但是python3中多處一種字符串

type(b'132') => byte型

而在python2中這樣寫就會報錯

所以顯而易見,decode和encode的使用也會有很大的區別

python2中的decode是將str型轉換為unicode型

python3中的decode是將byte型轉換為str型

使用

在使用python3寫爬蟲時,有時候會遇到這樣的錯誤

'gbk' codec can't encode character '\u30fb' in position 0: illegal multibyte sequence

遇到這樣的錯誤就和上面的編碼問題連系起來了

你會發現,明明自己設置的編碼是utf8,怎么會報一個gbk的錯誤??

這個問題可能會在兩個地方出現(輸出時,寫入文件時),其實這里設置的編碼並沒有問題,問題出在python3的字符串中,像上面說的,python3默認所有字符串都是unicode型,在面對字符串時,會首先按照unicode解析,自然會報錯

那么,我們來轉換一下編碼(假設a是一個gbk編碼的數據流)

"a".decode('gbk')

將字符串按照gbk規則解碼

會發現依舊報錯,明明已經改為gbk了啊……不着急,再進行一次

"a".decode('gbk').encode('utf8').decode('utf8')

為什么寫的這么長……就像上面說的,decode是將byte型轉為str型,而encode是將str型轉換為byte型,所以再進行一次encode,decode就能夠使得字符串轉換編碼格式

但是當你輸出時,你會發現還是有問題

解決

我們回到開始

不輸出我們想要的字符串,發現沒有問題……問題出在哪?

沒錯,是print(),print在輸出時會默認其中的字符時unicode編碼的字符串,而我們輸入了一個gbk編碼的字符串,所以就會出錯,所以,解決方法就是,不使用print……

但是print的使用有時候是不可避免的,所以在decode時加上一個ignore

"a".decode('gbk',errors='ignore')

此外,在打開或寫入文件時遇到的話,就需要加上encoding參數

with open("1.txt",'r',encoding='utf8') as a:


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM