再用爬蟲爬取數據的時候報錯:[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)
好多博客我看都說是:網站證書的問題,取消證書驗證就沒問題了
找了三種解決辦法:
1、在request請求的時候取消驗證verify=False
requests.post(url=next_url, data=data, headers=self.headers, cookies=self.cookies, verify=False).content
2、在python 3中增加了一個新的ssl認證檢查系統,避免認證不通過錯誤的一個方法是取消這種機制(爬蟲采用python2,這種方式不可用):
import ssl ssl._create_default_https_context = ssl._create_unverified_context
3、關閉SSl警告(在導入request模塊之后,關閉ssl警告)
import request #disable ssl warning requests.packages.urllib3.disable_warnings() context = ssl.SSLContext(ssl.PROTOCOL_TLSv1) context.verify_mode = ssl.CERT_NONE