01_爬蟲偽裝成瀏覽器的四種方法

好多網站對於爬蟲中沒有進行瀏覽器偽裝的會進行反爬，

以糗事百科網站為例

下面提供了三種方法添加headers，使爬蟲能夠偽裝成瀏覽器訪問。

備注：

方法二和方法三中省略了

import urllib.request url = 'http://www.qiushibaike.com/'

 

方法一：通過opener添加header

# 方法一：通過opener添加headers
import urllib.request
url = 'http://www.qiushibaike.com/'

# 頭文件格式header=('User-Agent',具體用戶代理值) 元組形式，元組內包含(key,value)
headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
# 創建opener對象
opener = urllib.request.build_opener()
opener.addheaders = [headers]
# (1)直接使用opener進行爬蟲
data = opener.open(url).read()
# print(data)
print(len(data))
# (2)將opener安裝為全局,全局生效后，再使用urlopen
urllib.request.install_opener(opener) 
data = urllib.request.urlopen(url).read()
print(len(data))

---

 

方法二：通過opener批量添加header

# 方法二：批量添加headers 有時候只添加user-agent這一個header不行，需要多添加幾個header
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0","Content-Type":"application/javascript",
}
#創建opener對象
opener = urllib.request.build_opener()
opener.addheaders = headers.items()  #header.items() 字典(Dictionary).items() 函數以列表返回可遍歷的(鍵, 值) 元組數組。正好符合addheaders屬性要求的值的類型。[(key1,value1),(key2,value2),(key3,value3)]
# (1)直接使用opener進行爬蟲
data = opener.open(url).read()
# print(data)
print(len(data))
# (2)將opener安裝為全局,全局生效后，再使用urlopen
urllib.request.install_opener(opener) 
data = urllib.request.urlopen(url).read()
print(len(data))

 

方法三：通過Request添加header

# 方法三：通過Request添加headers
req = urllib.request.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0')
req_data = urllib.request.urlopen(req).read()
print(len(req_data))

 方法四：通過第三方庫requests添加headers

# 方法四：通過requests第三方庫，添加headers
import requests


hd={'User-Agent':'Mozilla/5.0'}
def get_html_text(url):
    try:
        r = requests.get(url, timeout=10, headers = hd)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        html = r.text
        return html
    except Exception as result:
        print('錯誤類型：', result)


html = get_html_text(url)
print(len(html))