【Pyton】【小甲魚】爬蟲3---隱藏，避免網站防爬蟲

兩種方法隱藏（修改）headers
1.下面是關於用Python程序調用有道進行翻譯的 一段隱藏的代碼（第一種方法）。
2.為什么要進行隱藏操作？因為如果一個IP在一定時間訪問過於頻繁，那么就會被被訪問網站進行反爬蟲攔截，無法進行我們爬蟲的后續工作了，所以要給爬蟲披上一層神秘的面紗，從而瞞天過海嘍~
 1 import urllib.request
import urllib.parse #負責解析功能
import json

content=input("請輸入需要翻譯的內容：")
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'

head={} #增加header賦值代碼
head['User-Agent']='Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'#增加header賦值代碼，通過網址F12之后Network找到POST請求，找到User-Agent值，在此處進行定位賦值。

data={}
data['type']='AUTO'
data['i']=content #'I'換成content
data['doctype']='json'
data['xmlVersion']='1.8'
data['keyfrom']='fanyi.web'
data['ue']='UTF-8'
data['action']='FY_BY_CLICKBUTTON'
data['typoResult']='true'
data=urllib.parse.urlencode(data).encode('utf-8')

req=urllib.request.Request(url,data,head)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')

#print(html)
target=json.loads(html)
print("翻譯結果：%s"%(target['translateResult'][0][0]['tgt']))

運行結果及headers是否正確輸入的檢查：

>>> 
請輸入需要翻譯的內容：I
翻譯結果：我
>>> req.headers #檢查
{'User-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'}

第二種方法隱藏：

import urllib.request
import urllib.parse 
import json

content=input("請輸入需要翻譯的內容：")
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'

'''
1.用下面一句add_header函數語句q來代替以下head的賦值
head={}
head['User-Agent']='Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
'''

data={}
data['type']='AUTO'
data['i']=content 
data['doctype']='json'
data['xmlVersion']='1.8'
data['keyfrom']='fanyi.web'
data['ue']='UTF-8'
data['action']='FY_BY_CLICKBUTTON'
data['typoResult']='true'
data=urllib.parse.urlencode(data).encode('utf-8')

#req=urllib.request.Request(url,data,head)  #2.替換成下一句，因為不再引用上面的head所以去掉head
req=urllib.request.Request(url,data)
#+3.q語句
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36')

response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')

#print(html)
target=json.loads(html)
print("翻譯結果：%s"%(target['translateResult'][0][0]['tgt']))

第三種方法：引入休息時間：

import urllib.request
import urllib.parse 
import json
import time

while True:#+添加循環
    content=input('請輸入需要翻譯的內容(輸入"q!"退出程序)：')#+
    if content =='q!':#+
        break#+
    url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'

    '''
    1.用下面一句add_header函數語句q來代替以下head的賦值
    head={}
    head['User-Agent']='Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
    '''

    data={}
    data['type']='AUTO'
    data['i']=content 
    data['doctype']='json'
    data['xmlVersion']='1.8'
    data['keyfrom']='fanyi.web'
    data['ue']='UTF-8'
    data['action']='FY_BY_CLICKBUTTON'
    data['typoResult']='true'
    data=urllib.parse.urlencode(data).encode('utf-8')

    req=urllib.request.Request(url,data)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36')

    response=urllib.request.urlopen(req)
    html=response.read().decode('utf-8')

    #print(html)
    target=json.loads(html)
    #print("翻譯結果：%s"%(target['translateResult'][0][0]['tgt']))
    target=target['translateResult'][0][0]['tgt']#+
    print(target)#+
    time.sleep(5)#+延長時間以避免網站認為是爬蟲非法訪問

第四種：引入代理，代理把看到的內容返回給你，所以可以達到同樣的效果

import urllib.request

url='http://www.whatismyip.com.tw'
iplist=['']#+

#proxy_support = urllib.request.ProxyHandler({'http':'196.168.0.100:808'})
proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})

opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36')]
urllib.request.install_opener(opener)

response=urllib.request.urlopen(url)
html=response.read().decode('utf-8')

print(html)