python中url返回的reponse的编码处理中decode（）和encode（）的使用

1.decode()

bytes.decode(encoding=“utf-8”, errors=“strict”)
1.这个函数是bytes类型数据调用的，字符串str类型是不能够调用的。（好多文章说字符串也可以调用该函数，我是真搞不懂。）
2.该函数返回字符串。换句话说是bytes类型转化成str类型的函数。
3.encoding规定解码方式。bytes数据是由什么编码方式编码的，该函数encoding参数就必须用相应解码方式，这样才能返回正确字符串。解码后的字符串自动转为unicode编码方式。
4.errors参数默认为strict，即解码错误后引起异常发生。其他参数值为ignore,replace等。

2.encode()

str.encode(encoding=“utf-8”, errors=“strict”)
参数含义同上。这个函数将字符串转化成相应编码方式的字节形式。对于ASCII字符(数字，英文，部分标点符号)而言，不同编码方式编码后的字节是一样的。但是对于中文来说，编码后的字节不一样。

3.转码

例如，我有一个中文网站，网站编码方式为gb2312，我通过requests请求后要将网页打印出来。但是python内部是unicode编码的，直接response.text肯定会返回乱码。

import requests
url_all="https://www.kanunu8.com/"
header_all={
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    'upgrade-insecure-request': '1',
}
def get_classification_urls(url,headers):
    try:
        response=requests.get(url,headers=headers,timeout=10)
        if response.status_code==200:
            print(response.text))
    except Exception as e:
        print(e)

如下图，果然乱码

这时就需要正确解码，即将gb2312解码为unicode(utf-8).我们可以这样：
1.先获取编码的二进制格式，该格式为gb2312编码的二进制：

bytes=response.content

2.将二进制格式通过decode()函数解码为utf-8格式：

bytes.decode(encoding="gb2312")

decode()函数是bytes类型转str类型，这样就能够返回正确的字符串了且为utf-8格式。有人会问，这里明明encoding=“gb2312”，为何最后是utf-8字符串呢？
切记：这里的encoding指的是需要转化这个数据的编码方式，不是目标编码方式。不论什么编码方式的二进制数据，通过decode函数后，统一编成utf-8编码格式。因为utf-8格式是python里面的标准，就跟所有的币种都要转化成美元才能流通一样。

当然，这个例子即使通过gb2312解码，仍然是乱码。原因可能是原网页含有gb2312不能识别的字符(虽然gb2312是为中国文字服务的，但是有些少数名族的字符也属于中国文字，但是并没有包含在gb2312内)。后来为了扩充编码，由在gb2312基础上增加了gbk和gb18030编码，二者范围更广。事例用gb18030即可正确解码。

 

备注：equests.content返回的是二进制响应内容

而requests.text则是根据网页的响应来猜测编码，如果服务器不指定的话，默认编码是"

ISO-8859-1"（我当初看到这里的时候，在想为啥默认编码不设置为utf8呢，然后看到了原来是http协议是这样的，所以...）所以这是为什么你用 response.text 返回的是乱码的原因。

你可以用response.encoding看一下他猜测的编码是啥。我猜应该是ISO-8859-1

然后你用response.encoding = 'utf-8'

然后再 response.text ，返回的内容应该是正常的了.

1.  
   >>> r.encoding
2.  
   'utf-8'
3.  
   >>> r.encoding = 'ISO-8859-1'

看如下截图，我有声明编码为utf8,则response.text会用utf8来解码

 

简单说就是：

• resp.text返回的是Unicode型的数据。
• resp.content返回的是bytes型也就是二进制的数据。